ИИ Meta засыпает следователей «мусорными» доносами о насилии над детьми

Когда технологическая компания заявляет, что использует искусственный интеллект для защиты детей, это звучит как безусловное благо. Но что происходит, когда этот ИИ работает настолько плохо, что превращается из инструмента защиты в помеху для тех, кто действительно расследует преступления против несовершеннолетних? Именно этот вопрос встал ребром на судебном процессе против Meta в штате Нью-Мексико.

Бенджамин Цвибель, спецагент межведомственной группы по расследованию преступлений против детей в интернете (ICAC), дал показания, которые трудно назвать иначе как обвинительными. «Мы получаем от Meta огромное количество наводок, которые по сути являются мусором», — заявил он в суде. ICAC — это общенациональная сеть правоохранительных органов, координируемая Министерством юстиции США, и её задача — расследовать и преследовать в судебном порядке случаи сексуальной эксплуатации и насилия над детьми в интернете. Когда люди, которые занимаются этой тяжелейшей работой, называют ваши отчёты мусором, это серьёзный сигнал.

Проблема носит системный характер. Meta, владеющая Facebook, Instagram и WhatsApp, использует автоматизированные системы на базе ИИ для обнаружения контента, связанного с сексуальным насилием над детьми (CSAM). Когда система обнаруживает подозрительный материал, она генерирует отчёт, который направляется в Национальный центр по делам пропавших и эксплуатируемых детей (NCMEC), а оттуда — в правоохранительные органы, включая ICAC. В теории это выглядит как идеальный конвейер. На практике ИИ-модерация Meta, судя по показаниям следователей, производит такой объём ложных срабатываний, что реальные дела тонут в потоке некачественных наводок. Каждый отчёт требует проверки — а это время следователей, которые могли бы заниматься настоящими делами.

Здесь стоит понять контекст шире. Судебный процесс в Нью-Мексико — часть нарастающей волны исков против Meta со стороны американских штатов. Генеральный прокурор Нью-Мексико утверждает, что платформы компании систематически ставят прибыль выше безопасности детей. Это обвинение перекликается с показаниями бывших сотрудников компании и внутренними документами, утечки которых в 2021 году организовала Фрэнсис Хауген. Meta, со своей стороны, отвергает обвинения и указывает на введённые защитные меры — в частности, на подростковые аккаунты с настройками конфиденциальности по умолчанию. Но показания Цвибеля бьют по одному из ключевых аргументов защиты: компания не может одновременно утверждать, что активно борется с CSAM, и при этом заваливать следователей бесполезными отчётами.

Технически проблема «мусорных» отчётов хорошо знакома специалистам по машинному обучению. Системы классификации контента работают на балансе между точностью и полнотой: можно настроить модель так, чтобы она ловила почти всё подозрительное, но тогда резко вырастет число ложных срабатываний. Можно повысить порог — тогда часть реального CSAM останется незамеченной. Meta, очевидно, выбрала стратегию максимального охвата, что позволяет ей отчитываться впечатляющими цифрами обнаруженных случаев. Но эти цифры оказываются во многом пустышкой, а расплачиваются за это следователи и, в конечном счёте, дети, чьи реальные дела задерживаются из-за перегрузки системы.

Эта ситуация обнажает более глубокую проблему индустрии: автоматизация модерации контента часто служит не столько реальной защите пользователей, сколько созданию видимости активной работы. Для Meta миллионы автоматически сгенерированных отчётов — это аргумент в суде и перед регуляторами. Для следователя, который должен вручную проверить каждый из них, — это бюрократический кошмар, отнимающий время у реальных дел. Масштаб платформ Meta — миллиарды пользователей — делает проблему особенно острой: даже небольшой процент ложных срабатываний в абсолютных числах превращается в лавину.

Судебный процесс в Нью-Мексико далёк от завершения, но показания Цвибеля уже стали одним из наиболее цитируемых моментов. Они ставят перед индустрией неудобный вопрос: достаточно ли просто внедрить ИИ и отчитаться о количестве отправленных сигналов, или компании обязаны нести ответственность за качество этих сигналов? Если автоматизация модерации создаёт больше проблем, чем решает, то она перестаёт быть инструментом безопасности и становится инструментом корпоративного PR. А когда речь идёт о безопасности детей, цена такого подхода измеряется не в репутационных потерях, а в реальных жизнях.