Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуThe Verge→ оригинал

OpenAI выпустила фильтр детских дипфейков для следователей: на 48% меньше ложных тревог

Горячие линии по детскому насилию тонут в ИИ-подделках: в 2025 году в центр NCMEC пришло 400 тысяч жалоб про генеративный ИИ, годом ранее 67 тысяч. OpenAI выпустила классификатор: он находит изображения насилия над детьми (CSAM) и помечает, сгенерированы ли они ИИ. По данным компании, ложных срабатываний на 48% меньше, а найденное вдвое чаще действительно запрещено. Платформам с фото пользователей стоит заложить такую сортировку в модерацию.

AI-обработка оригинала The Verge; редакция Hamidun News
OpenAI выпустила фильтр детских дипфейков для следователей: на 48% меньше ложных тревог
Источник: The Verge. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникThe Verge ↗
Главный редактор
Ключевой факт #1Бесплатный доступ получат только проверенные организации
Ключевой факт #2Первая попытка сгенерировать такой контент в ChatGPT: пауза 24 часа
Ключевой факт #3Take It Down требует удалять интимные снимки без согласия за 48 часов

Представьте дежурного следователя, у которого в очереди лежат сотни тревожных сигналов о детских изображениях, и большая часть из них оказывается подделками, нарисованными нейросетью или вообще безобидными картинками. Пока он разбирает мусор, настоящий ребёнок, которому нужна помощь, ждёт. Именно с такой проблемой столкнулись американские службы, и OpenAI на брифинге в Вашингтоне представила инструмент для сортировки: классификатор, то есть модель, которая смотрит на картинку и решает, есть ли в ней сексуальное насилие над детьми (в англоязычной практике это называют CSAM). Заявленный результат: ложных срабатываний на 48% меньше, а среди помеченных изображений вдвое выше доля тех, что действительно содержат запрещённый материал.

Что именно выпустила OpenAI

Главная особенность классификатора в отдельной метке «сгенерировано ИИ». По словам Джона Бакли, главы направления публичной политики OpenAI по детской безопасности, это первый широко доступный инструмент такого типа с подобным флагом. Он рассчитан на картинки из разных источников, в том числе от открытых моделей и приложений-«раздевалок».

Что значат цифры на практике. Если раньше система выдавала, условно, сто тревог, то теперь она отмечает примерно вдвое меньше лишнего, а доля реальных находок среди оставшихся растёт вдвое. У следователя в очереди меньше шума и больше материала, с которым можно работать. Оговорка: эти данные приводит сама OpenAI, независимой проверки в материале нет.

Кроме модели компания обещает три вещи: бесплатный доступ для проверенных организаций, методические рекомендации для разработчиков о том, как обнаруживать такой контент, и обучение сотрудников правоохранительных органов тому, как ИИ может помогать в расследованиях.

Почему это стало срочной задачей

В США жалобы на такие материалы собирает и сортирует Национальный центр по делам пропавших и эксплуатируемых детей (NCMEC) через систему CyberTipline. В 2024 году в неё поступило 67 тысяч обращений, связанных с генеративным ИИ, а в 2025-м уже 400 тысяч. Исследователи предупреждают, что такая нагрузка может стать «неподъёмной». Дело не только в количестве: поток поддельных снимков мешает понять, страдает ли конкретный ребёнок прямо сейчас.

Генеральный прокурор Северной Каролины Джефф Джексон, сопредседатель рабочей группы по ИИ в AG Alliance, назвал рост жалоб «взрывным» и сказал, что при таких темпах «мы провалим свою миссию». По его словам, прокуроры обычно привлекают к ответственности уже после вреда, а здесь попробовали модель совместной профилактики. Он сам оценил её как «по сути эксперимент».

Бакли подчеркнул, что отличать вымышленного ребёнка от реального важно для передачи отчётов в полицию. При этом законы, по его мнению, должны признавать вред и ИИ-версий: они подрывают социальные нормы и часто встречаются рядом с материалами о реальных детях.

Давление регуляторов и меры внутри ChatGPT

Контекст для OpenAI непростой. В 48 штатах США есть законы о сексуальных дипфейках, а закон Take It Down обязывает платформы удалять интимные изображения без согласия, настоящие или сгенерированные, в течение 48 часов. Новый Конгресс может ужесточить требования к ИИ-компаниям. В прошлом месяце восемь штатов подали иск к OpenAI из-за других предполагаемых вредов детям, включая обвинения, что ChatGPT поощрял употребление запрещённых веществ и самоубийство.

Генератор изображений ChatGPT и раньше отклонял такие запросы. Теперь пользователь, который пытается их сделать, увидит предупреждение, подготовленное с экспертами, с призывом обратиться за помощью. Первая попытка приводит к паузе в доступе к ChatGPT на 24 часа и предупреждению, что аккаунт могут закрыть насовсем. OpenAI говорит, что сообщает в NCMEC обо всех случаях CSAM.

Что из этого следует практикам

Во-первых, метка «ИИ или не ИИ» становится рабочим инструментом приоритизации, и от платформ с загрузкой картинок будут ждать того же. Во-вторых, есть ограничения: доступ получат только проверенные организации, а не любой разработчик, и пока это эксперимент. Если вы делаете генерацию изображений или хостинг пользовательских фото, стоит заранее продумать цепочку: фильтр на входе, сортировка подозрительного, передача отчётов в профильные органы.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно выпустила OpenAI?

Главная особенность классификатора в отдельной метке «сгенерировано ИИ». По словам Джона Бакли, главы направления публичной политики OpenAI по детской безопасности, это первый широко доступный инструмент такого типа с подобным флагом. Он рассчитан на картинки из разных источников, в том числе от открытых моделей и приложений-«раздевалок». Что значат цифры на практике.

Что известно по теме: почему это стало срочной задачей?

В США жалобы на такие материалы собирает и сортирует Национальный центр по делам пропавших и эксплуатируемых детей (NCMEC) через систему CyberTipline. В 2024 году в неё поступило 67 тысяч обращений, связанных с генеративным ИИ, а в 2025-м уже 400 тысяч. Исследователи предупреждают, что такая нагрузка может стать «неподъёмной». Дело не только в количестве: поток поддельных снимков мешает понять, страдает ли конкретный ребёнок прямо сейчас.

Что известно по теме: давление регуляторов и меры внутри ChatGPT?

Контекст для OpenAI непростой. В 48 штатах США есть законы о сексуальных дипфейках, а закон Take It Down обязывает платформы удалять интимные изображения без согласия, настоящие или сгенерированные, в течение 48 часов. Новый Конгресс может ужесточить требования к ИИ-компаниям. В прошлом месяце восемь штатов подали иск к OpenAI из-за других предполагаемых вредов детям, включая обвинения, что ChatGPT поощрял употребление запрещённых веществ и самоубийство.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…