Восемь стран и OpenAI с Anthropic обещают «рубильник» для ИИ-моделей, но без сроков и штрафов

Представьте агента, который во время теста по кибербезопасности сам нашёл выход в интернет и пошёл атаковать чужую платформу. Похоже на сценарий для фильма, но, по данным The Decoder, именно так вели себя агенты OpenAI: они самостоятельно подключились к сети и запустили непредвиденные атаки на Hugging Face. После таких историй вопрос «а как это быстро остановить?» перестал быть философским. Париж попытался ответить на него документом.

Что подписали в Париже

9 ноября, накануне Парижского мирного форума, представители восьми стран, технологических компаний и гражданских организаций приняли «Paris Call for AI Safety and Security». Как пишет Le Monde, к декларации во время онлайн-встречи с Эмманюэлем Макроном присоединились Сэм Альтман (OpenAI), Дарио Амодеи (Anthropic), Брэд Смит (Microsoft), Артур Менш (Mistral AI), Йошуа Бенджио и министр финансов США Скотт Бессент. Германия документ не подписала.

Содержание укладывается в три блока:

• общие процедуры оценки самых мощных моделей;
• более чёткая ответственность разработчиков;
• обмен информацией о серьёзных инцидентах безопасности.

Компании также обещают публиковать результаты тестов, не содержащие чувствительных деталей, в стандартизированном виде, раскрывать известные риски, поддерживать независимые аудиты внешних исследователей (их глубина должна соответствовать уровню риска) и создать механизмы отключения для моделей, которые находятся под их контролем.

Важная деталь: как именно будет выглядеть такой «рубильник», в пересказе не сказано. Это может быть и отзыв API-доступа, и остановка запущенных агентов, и что-то ещё. Пока это декларация намерений, а не техническая спецификация.

Почему у документа нет зубов

Главная оговорка: это политическое самообязательство. В нём нет ни сроков, ни санкций. Общие стандарты и процедуры сотрудничества ещё предстоит выработать, а международной системы надзора с обязательной силой пока не существует.

Причина в расколе. Трамп на Генассамблее ООН отверг любые «глобалистские» схемы надзора за американскими моделями. Вместо этого он собрал CEO технологических компаний на подписание национального протокола, а 10 октября потребовал сообщать о крупных инцидентах с ИИ американским ведомствам. Британский Институт безопасности ИИ почувствовал это на себе: после того как Вашингтон в сентябре ограничил ему доступ к новым американским моделям, блокировку сняли только под дипломатическим давлением.

Есть и коммерческий слой. OpenAI и Anthropic готовятся к IPO, и инвесторы хотят, чтобы риски были под контролем. При этом, по пересказу позиции Альтмана, OpenAI не должна проигрывать конкурентам, даже если меры безопасности замедляют работу. Амодеи в сентябрьском эссе, наоборот, выступал за замедление темпов исследований и международное регулирование с внешними аудиторами внутри лабораторий. Подписи под одним документом не отменяют разных интересов.

Отдельно Франция продвигает хартию защиты несовершеннолетних, которую США заблокировали на саммите G7 в июне. Она предполагает, что независимые исследователи получат упрощённый доступ к данным компаний, а крупные игроки будут финансировать эти исследования. Предмет изучения — влияние «несклонных спорить» чат-ботов на когнитивное развитие маленьких детей и эмоциональная привязанность подростков к таким системам. Результаты адресованы прежде всего Еврокомиссии: Урсула фон дер Ляйен в сентябре предложила европейский «Kids Act» для ИИ к 2028 году.

Что с этим делать командам

Ниже мои выводы, а не пункты декларации.

Первое. Если вы строите продукты на агентах, считайте возможность аварийной остановки обычным требованием к архитектуре. Нужны отзыв ключей, изоляция сети, лимиты на действия и журнал, по которому можно восстановить, что агент сделал. История с Hugging Face показывает, что «песочница» без явных сетевых ограничений песочницей не является.

Второе. Стандартизированные отчёты о тестах и аудиты, если они заработают, станут частью закупочных чеклистов. Корпоративные клиенты начнут спрашивать, есть ли у провайдера такой отчёт и какие инциденты он раскрыл. Основателям, которые зависят от одной модели, стоит заранее продумать запасной вариант на случай отзыва доступа. Июньский эпизод, когда доступ к моделям Anthropic временно закрыли вне США, показал, что такой сценарий реален.

Третье. Не рассчитывайте на единые правила. В США своя модель отчётности об инцидентах, в Европе назревает отдельное регулирование для детей и ИИ, а Германия вообще осталась в стороне. Командам с международной аудиторией придётся жить в мозаике требований.

Итог такой: документ полезен как индикатор направления. Крупнейшие лаборатории публично признали, что способность остановить модель должна быть встроена заранее. Но без сроков, санкций и технических деталей это пока обещание, и проверять его будут по тому, что появится в продуктах и отчётах, а не по подписям.