Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуTechCrunch→ оригинал

OpenAI выпустила детектор CSAM: модераторам на проверку попадает на 48% меньше снимков

OpenAI выпустила детектор CSAM — так называют материалы сексуального насилия над детьми, включая сгенерированные ИИ. Модель оценивает новый снимок баллом, а решение принимает модератор. В тестах с партнёрами она помечала на 48% меньше картинок, находя столько же настоящих нарушений, так что безвредных снимков на ручной просмотр попадало меньше. Для платформ с загрузкой фото это экономия времени модераторов.

AI-обработка оригинала TechCrunch; редакция Hamidun News
OpenAI выпустила детектор CSAM: модераторам на проверку попадает на 48% меньше снимков
Источник: TechCrunch. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTechCrunch ↗
Главный редактор
Ключевой факт #1Помеченные снимки вдвое чаще оказываются настоящими нарушениями
Ключевой факт #2ChatGPT покажет предупреждение и заблокирует аккаунт на 24 часа
Ключевой факт #3Доступ к API бесплатный, но пока только избранным компаниям

Любая платформа, где пользователи загружают картинки или генерируют их с помощью ИИ, рано или поздно сталкивается с CSAM — так сокращённо называют материалы сексуального насилия над детьми. Генеративные модели сделали проблему острее: такие изображения теперь можно не только распространять, но и создавать. OpenAI объявила набор мер в четырёх направлениях: новый классификатор изображений, предупреждения в ChatGPT, руководство для разработчиков и инструменты для полиции.

Главная цифра пакета — 48%. В ранних тестах с партнёрами классификатор помечал на 48% меньше изображений, чем прежний подход, а число найденных настоящих нарушений оставалось тем же. Проще говоря: модератору приходит меньше безобидных картинок, которые нужно смотреть глазами, а реальные случаи не теряются.

Классификатор: меньше лишней ручной работы

Новая модель ищет визуальные признаки насилия на изображениях, в том числе созданных ИИ. Она работает и с картинками, которых раньше не встречала, то есть не сводится к сверке с базой уже известных файлов. На выходе модератор получает балл. Он не выносит приговор, а подсказывает, на что смотреть в первую очередь и как действовать дальше.

OpenAI разработала инструмент вместе с Национальным центром по делам пропавших и эксплуатируемых детей (NCMEC). Доступ компания раздаёт через API бесплатно, но пока только избранным организациям. Распространением занимаются вместе с Tech Coalition и ROOST.

Вторая цифра из тестов: снимки с пометкой классификатора вдвое чаще оказываются настоящими нарушениями. Для модераторов это ещё и вопрос психологической нагрузки: каждый лишний сомнительный снимок приходится смотреть человеку.

Предупреждения в ChatGPT и инструкции для разработчиков

ChatGPT и раньше блокировал CSAM и связанные с ним запросы. Теперь на такую попытку чат покажет предупреждение и направит человека к специализированной помощи, чтобы остановить вредное поведение. Следом аккаунт заблокируют на 24 часа. При повторных нарушениях его могут удалить навсегда.

Тексты предупреждений OpenAI готовила с организациями Protect Children, Lucy Faithfull Foundation и исследователем Джоэлом Скэнланом из Университета Тасмании. Скэнлан независимо оценил пилот с сообщениями, которые должны удерживать людей от таких запросов.

Отдельно компания опубликовала руководство для разработчиков на её инструментах. В нём описано, как предотвращать и находить CSAM и как помогать пользователям о нём сообщать. По словам OpenAI, в ранних тестах гайд помог ряду разработчиков подключить инструменты защиты детей и зарегистрироваться для отчётов в NCMEC.

Для правоохранителей, работающих по делам о безопасности детей, компания добавляет ИИ-функции: плагины, инструменты расследования и анализ сложных массивов данных. Доступом управляют администраторы программы. Следователям предлагают обучение и полевое руководство по работе с ИИ.

Контекст и ограничения

Анонс выходит на фоне давления на компанию. Против OpenAI поданы иски, где технологию обвиняют во вреде пользователям, особенно детям. Организация Common Sense Media оценила продукты OpenAI для подростков как «неприемлемый риск». Другие чат-боты, в частности Grok, использовали для создания сексуализированных изображений без согласия, в том числе детей. За последние 12 месяцев OpenAI уже выпустила план по безопасности, обновила правила контента, дообучила модели и запустила версию ChatGPT для подростков.

Оговорки нужны. Показатели 48% и «в два раза» взяты из ранних тестов с партнёрами, и пока их сообщает сама компания. Независимой проверки в материале нет. Доступ к классификатору получат не все: его выдают выбранным компаниям. Балл остаётся подсказкой, окончательное решение принимает человек.

Для продуктовых команд вывод простой. Если в сервисе есть загрузка или генерация изображений, нужно заранее продумать цепочку: автоматическая оценка, ручная проверка, отчёт в профильную организацию. Гайд OpenAI можно использовать как отправную точку, а если ваша компания работает с модерацией, стоит узнать про доступ к классификатору через Tech Coalition или ROOST.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: классификатор: меньше лишней ручной работы?

Новая модель ищет визуальные признаки насилия на изображениях, в том числе созданных ИИ. Она работает и с картинками, которых раньше не встречала, то есть не сводится к сверке с базой уже известных файлов. На выходе модератор получает балл. Он не выносит приговор, а подсказывает, на что смотреть в первую очередь и как действовать дальше. OpenAI разработала инструмент вместе с Национальным центром по делам пропавших и эксплуатируемых детей (NCMEC).

Что известно по теме: предупреждения в ChatGPT и инструкции для разработчиков?

ChatGPT и раньше блокировал CSAM и связанные с ним запросы. Теперь на такую попытку чат покажет предупреждение и направит человека к специализированной помощи, чтобы остановить вредное поведение. Следом аккаунт заблокируют на 24 часа. При повторных нарушениях его могут удалить навсегда. Тексты предупреждений OpenAI готовила с организациями Protect Children, Lucy Faithfull Foundation и исследователем Джоэлом Скэнланом из Университета Тасмании.

Что известно по теме: контекст и ограничения?

Анонс выходит на фоне давления на компанию. Против OpenAI поданы иски, где технологию обвиняют во вреде пользователям, особенно детям. Организация Common Sense Media оценила продукты OpenAI для подростков как «неприемлемый риск». Другие чат-боты, в частности Grok, использовали для создания сексуализированных изображений без согласия, в том числе детей. За последние 12 месяцев OpenAI уже выпустила план по безопасности, обновила правила контента, дообучила модели и запустила версию ChatGPT для подростков.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…