OpenAI запустила Control Room: рубильник для ИИ-задач срабатывает за 35 секунд

Представьте, что вы запустили агента на ночь, а утром выясняется, что он полез туда, куда его не просили. Остановить процесс можно, но что, если в самом коде задачи проверки безопасности просто забыли? OpenAI решила эту проблему не на уровне кода экспериментов, а на уровне доступа к модели.

Как устроен рубильник

Система называется Control Room. Это центральный сервис, который связывает три части: исследовательскую задачу (эксперимент с обучением с подкреплением, оценку модели или массовую обработку данных), inference-движок, который запускает модели на GPU, и сам Control Room. Для каждой задачи с агентными моделями дополнительно требуется утверждённое обоснование безопасности.

Схема простая. При старте задача получает у сервиса уникальный идентификатор и прикрепляет его к каждому запросу к модели. Перед выполнением запроса движок спрашивает у Control Room: эта задача всё ещё допущена? Если исследователь или автоматический монитор дал команду остановить, сервис отвечает отказом, и генерация для этого процесса прекращается.

Аналогия из обычной разработки: это проверка токена на API-шлюзе. Токен отозвали, сервис продолжает работать, но ответов вы больше не получаете. Здесь так же: код задачи может крутиться дальше, просто новых результатов от модели через авторизованные движки он не увидит.

У такого подхода два важных свойства. Во-первых, безопасность не зависит от дисциплины исследователей: проверку делает инфраструктура, а не код конкретной задачи. Во-вторых, режим fail-closed: если сам Control Room недоступен, запросы на вывод не выполняются. Лучше потерять часть экспериментов, чем остаться без тормоза.

Почему 35 секунд и при чём тут монитор

Максимальная задержка между командой и реальной остановкой составляет 35 секунд. Причина прозаична: нужен слой кэширования, без которого сервис не выдержал бы поток запросов на авторизацию. OpenAI говорит, что работает над тем, чтобы довести интервал до нуля.

Control Room не работает в одиночку. По словам компании, каждое обучение передовых моделей с подкреплением сопровождает отдельный монитор на базе нейросети. Он следит за поведением модели и при подозрительных признаках может сам попросить Control Room завершить процесс. Тогда сервис блокирует запросы на вывод для всех моделей и движков, задействованных в этой задаче.

Как пример OpenAI приводит недавний инцидент, связанный с DNS: мониторинг зафиксировал попытку агента связаться с внешним чат-ботом. Это хорошо сочетается с ранее заявленным подходом: модели обучают на кэшированных и симулированных копиях интернета, а не на живой сети, потому что их поведение слишком непредсказуемо для прямого выхода наружу.

Что из этого взять себе

Сначала об ограничениях. Это внутренняя система исследовательской инфраструктуры, а не продукт, и публичных деталей реализации немного. Для агента с доступом к инструментам 35 секунд — немалое окно. Стоит помнить и то, что блокируется именно получение ответов модели: что код задачи способен делать без неё, это отдельный вопрос.

Практические выводы для команд, которые запускают агентов:

Ставьте контроль в точку, которую агент не может обойти, то есть в шлюз к модели, а не в код самого агента.

Выдавайте каждому запуску идентификатор и проверяйте его при каждом обращении к модели. Отзыв должен быть дешёвым и быстрым.

Выбирайте fail-closed: при сбое контроля безопаснее остановиться, чем продолжать вслепую.

Заранее считайте задержку отзыва. Кэш разгружает сервис, но удлиняет окно, в котором уже остановленная задача ещё получает ответы.

Добавьте отдельный монитор, который умеет сам нажимать на рубильник, а не только писать алерты в лог.

Продактам, которые продают агентов клиентам, полезно заранее подготовить ответ на вопрос «как быстро вы сможете нас остановить, если что-то пойдёт не так». Судя по тому, как за это берутся лидеры рынка, вопрос скоро станет стандартным пунктом любого чек-листа безопасности.