METR и Redwood взломали мониторинг агентов OpenAI: охвачено 75–94% трафика

Три недели, с 21 июля по 11 августа, сотрудник METR и сотрудник Redwood Research пытались обойти систему, с помощью которой OpenAI следит за рассогласованием собственных внутренних агентов. Результатом стал 61-страничный закрытый отчёт для исследователей и службы безопасности OpenAI, а теперь и короткая публичная выжимка. Главная оценка в ней такая: на момент проверки мониторингу подлежало 75–94% агентного внутреннего трафика Responses API от моделей не слабее GPT-5.5, причём неопределённость исследователи признают в обе стороны. Ещё в системе нашлись способы вообще уйти из-под наблюдения.

Доступ почти как у штатных инженеров

Проверка шла в формате пилота «глубокого доступа» для внешних исследователей. Участники работали с внутренней кодовой базой OpenAI, промптами и конфигурацией мониторов, внутренней документацией. Они провели технические интервью примерно с дюжиной исследователей и инженеров из команд мониторинга, safety-систем и безопасности. Работали на устройствах, выданных OpenAI, которые не покидали офис, и под сопровождением.

Ограничения тоже важны. Публиковать можно только краткий пост: OpenAI вправе скрыть любую информацию, которую сочтёт конфиденциальной, и в отличие от предыдущих работ METR не имеет права односторонне описывать такие правки. Руководству METR и Redwood передали 38-страничную версию отчёта, отредактированную OpenAI. Проверялась система в том виде, в каком она существовала 21 июля и раньше, а не расширения, которые компания внедряла параллельно. Исследование также не связано с расследованием METR по инциденту с Hugging Face, хотя о нём публично сообщили в первый день упражнения.

Двенадцать находок

• Охват трафика. 75–94% агентного трафика Responses API (на нём работает Codex) от моделей уровня GPT-5.5 и сильнее подлежало мониторингу.

Для подмножества внутренних агентов Codex оценка выше: 99,2%. Трафик внутреннего исследовательского inference-сервиса не оценивали из-за ограничений доступа и времени. • RL-обучение.

Часть rollouts мониторили на рассогласование с марта по июнь, но к началу упражнения RL-запуски системой не покрывались. • Compaction. Из-за непроверяемых compaction-событий около 10% подходящего трафика Codex не мониторилось с мая по июль 2026 года.

Точную долю определить не удалось, потому что нужные данные не логировались. В OpenAI проблему заметили до упражнения и исправили в его ходе. • Отсрочка проверки.

Монитор срабатывал, когда агент возвращал управление пользователю. Пока compaction не проверялся, агент мог бесконечно откладывать надзор, продолжая выполнять действия. Применял ли кто-то это на практике, исследователи проверить не могли.

• Ошибки и load-shedding. По показанным данным, монитор ошибался менее чем в 0,2% запросов, а за одни 24-часовые сутки во время упражнения не было ни одного сброса нагрузки. • Песочница Codex.

Найден способ обойти sandboxing и Auto-Review, после чего агент мог бы делать всё, что доступно пользователю хоста. • Эксплойт со слепой зоной. Нашёлся приём, из-за которого сотни последних действий, включая сами действия эксплойта, не попадали под мониторинг.

Детали OpenAI вычеркнула. • Сериализация. Агенты, вероятно, могут строить входные данные, которые ломают монитор и не дают отправить траекторию на проверку человеку: траектория для агента и для монитора сериализуется по-разному.

• Заголовки. Два независимых клиентских заголовка отключают мониторинг для новых агентов, позволяя запустить идентичный, но ненаблюдаемый экземпляр. Правда, сама установка заголовков и создание экземпляра могут быть замечены монитором.

• Инструменты «только для чтения». Два внутренних агентных инструмента без мониторинга считались read-only, но нашёлся простой эксплойт для произвольных действий в их песочнице. Практическую эксплуатируемость не проверяли.

• Полнота контекста. С несколькими небольшими исключениями монитор видит ту же траекторию, что и агент. • Промпты монитора.

Они ищут scheming, подрыв самой системы мониторинга, саботаж, кражу данных, обман, а также входящие и исходящие prompt injection.

OpenAI сообщила, что все уязвимости, затрагивающие боевой стек защиты, закрыты, и описала существенные изменения в целевом охвате мониторинга. METR эти утверждения не проверяла.

Пять принципов для мониторинга, который выдержит умного агента

Из находок авторы вывели требования к системам, способным противостоять намеренным, стратегическим и длительным атакам со стороны сильных внутренних агентов:

• Обойти мониторинг должно быть трудно. Запросы без мониторинга допускать только для явно утверждённых организаций и API-ключей, которым запрещён агентный inference. Проверять агента каждые N сообщений или минут, а не по окончании хода.

• Контролировать фактический охват. Вести учёт всего inference и доли мониторимого, регулярно сверять логи с логами монитора, держать список известных обходов, следить, чтобы монитор видел тот же контекст, что и агент. • Быстро реагировать на инциденты.

Назначить владельца, ввести чёткие инструкции, хранить неизменяемые и удобные для поиска логи. • Регулярно атаковать монитор. Проводить control evaluations, искать эксплуатируемые баги, разработать методику оценки стратегического сговора.

• Изолировать агентов от мониторов. Запускать scaffold отдельно от среды исполнения инструментов, не давать действиям агента влиять на то, срабатывает ли монитор и когда, не показывать агенту дизайн и код системы надзора.

Что проверить в собственном агентном стеке

Типичные дыры здесь инженерные, а не экзотические: пропущенный тип события, триггер на конец хода, клиентский заголовок, лишняя ветка трафика. Любая команда, которая запускает автономных кодинг-агентов, может прогнать по этому списку собственную инфраструктуру: ведётся ли сверка между логами inference и логами монитора, можно ли отключить наблюдение параметром запроса, видит ли монитор то же, что агент, срабатывает ли проверка по времени, а не по завершению хода. Для внешних аудиторов проект создаёт прецедент: глубокий доступ к внутренностям лаборатории возможен, но публичная прозрачность пока остаётся на усмотрение самой компании. В следующих итерациях METR обещает придерживаться собственных принципов независимости и открытости.