OpenAI раскрыла принципы безопасности Sora 2: от дипфейков до маркировки контента

OpenAI опубликовала подробное описание подхода к безопасности, который лежит в основе Sora 2 — новой версии видеогенеративной модели — и одноимённого приложения для создания контента. Компания подчёркивает: безопасность не добавлялась поверх готового продукта — она закладывалась в архитектуру с самого начала разработки. Sora 2 представляет новое поколение видеомодели OpenAI, способной генерировать реалистичные видеоролики по текстовым и визуальным подсказкам с существенно более высоким качеством.

Одновременно OpenAI запустила Sora как самостоятельную социальную платформу, ориентированную на творческих пользователей: художников, режиссёров, блогеров и контент-мейкеров. Именно сочетание мощной модели и открытой публичной платформы, по мнению компании, создаёт принципиально новые задачи в области безопасности — с которыми индустрия прежде не сталкивалась в таком масштабе. Защита организована на нескольких уровнях.

Первый — контроль на уровне самой модели. Sora 2 обучена отклонять запросы, нарушающие политику допустимого использования: создание дипфейков реальных людей без их согласия, сексуализированного контента с несовершеннолетними, материалов, пропагандирующих насилие или распространяющих дезинформацию. Этот слой защиты встроен непосредственно в веса модели и срабатывает до того, как контент вообще начинает генерироваться.

Второй уровень — меры на стороне платформы. Приложение Sora включает верификацию возраста, региональные ограничения на определённые типы контента, системы жалоб и инструменты модерации, позволяющие пользователям сообщать о нарушениях. Отдельного внимания заслуживает работа с атрибуцией контента.

Все видео, созданные через Sora, маркируются с использованием стандарта C2PA (Coalition for Content Provenance and Authenticity) — набора технических метаданных, позволяющих идентифицировать материал как AI-сгенерированный. Это означает, что даже после скачивания и повторной публикации ролика его происхождение можно установить технически. Инициатива направлена на борьбу с дезинформацией: редакции, платформы и рядовые пользователи смогут видеть, что именно создано ИИ, а не снято камерой.

Ещё один важный элемент — внешнее тестирование. До публичного запуска OpenAI провела масштабное red teaming: независимые исследователи безопасности, кинематографисты и правозащитные организации стресс-тестировали модель, пытаясь выявить уязвимости и пути обхода ограничений. Их находки непосредственно повлияли на конечную конфигурацию системы безопасности.

Компания открыто признаёт: ни один защитный механизм не даёт абсолютных гарантий. Ставка делается на многослойную защиту — комбинацию модельных ограничений, платформенных правил, технической атрибуции и инструментов модерации. Вместо поиска одного идеального фильтра OpenAI строит систему взаимодополняющих барьеров, каждый из которых усложняет злоупотребление.

Запуск мощных видеомоделей в публичный доступ — это всегда компромисс между творческим потенциалом и рисками. Чем реалистичнее синтезированный контент, тем выше ставки для общества. Реальная проверка подхода OpenAI наступит не в момент релиза, а по мере того, как Sora 2 начнёт использоваться миллионами людей в самых разных — в том числе непредсказуемых — контекстах.