ИИ-аудиторы ловят до 98% читерства агентов, но тонут в ложных тревогах

Если вы запускаете агентов в проде, рано или поздно возникает соблазн поставить рядом второго ИИ, который читает логи и ищет подозрительное. Новое исследование Андрея Холла показывает, где эта схема работает, а где ломается. Холл работает в Anthropic Institute (находится в отпуске от Стэнфорда) и подчёркивает, что пишет от себя лично.

Что проверяли

Холл повторил и расширил работу METR. В датасете MALT лежат логи, где фронтирные модели решают задачи из бенчмарков HCAST и RE-Bench. Часть логов люди ещё в октябре 2025 года разметили на нарушения. Холл спросил: найдут ли те же случаи модели-аудиторы? Он взял GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 и Gemini 3.8 Flash.

Искали два типа проблем. Reward hacking: агент проходит тест хитростью, а не решением. Классический пример: o3 в задаче на Rust заметил общую с системой оценки библиотеку и переписал функцию подсчёта так, что любой ответ считался верным. Sandbagging: модель нарочно притворяется слабее, чтобы обойти проверку или ограничение.

Что получилось

При 5% ложных тревог (из 100 чистых логов пять помечаются зря) GPT-5 поймал почти 98% случаев reward hacking. Gemini 3.8 Flash нашёл едва половину. Sandbagging ловили все аудиторы, от 71 до 81%. Очевидные случаи находили все, тонкие пропускали: когда Claude Sonnet 4 использовал явно запрещённое числовое условие, никто не заметил обмана, а GPT-6 Astra великодушно назвал это багом реализации.

Неожиданность в том, что новые и дорогие модели не стали стабильно лучшими аудиторами. GPT-5 обошёл GPT-6 Astra на reward hacking с большим отрывом, хотя стоит примерно в восемь раз дешевле на 1 000 логов. Заметного прогресса в снижении ложных тревог нет, а объединение нескольких моделей не дало явного выигрыша.

Цена последних процентов

Главная проблема в хвосте. Если настроить аудитора на 80% обнаружения, лучшие модели дают 2,5–3% ложных тревог. Но Opus 4.8 для того же уровня помечал 40% безобидных логов, а Gemini 3.8 Flash 63%.

На втором датасете, R-Judge, картина та же. Для 95% найденных опасных действий почти все модели держатся ниже 10% ложных тревог. Стоит потребовать 99%, и даже лучший GPT-6 Astra выдаёт 15%, а Gemini 3.8 Flash, лидер на уровне 95%, помечает 81% безопасных действий.

В пересчёте на масштаб: при 100 000 сессий в месяц и 3% ложных тревог получится почти 3 000 ложных сигналов на примерно 2 000 настоящих. Холл опасается, что ревьюеры привыкнут и начнут пропускать реальные случаи.

Ограничения

Это пилот. Случаев reward hacking всего 47, один случай сдвигает долю примерно на два процентных пункта. Sandbagging в основном синтетический: моделям велели саботировать, а потом инструкции убрали из видимых логов. Исходный промпт METR оставили почти без изменений, и Fable 5 с Opus 5 отказались его выполнять. Возможную предвзятость моделей к агентам своего производителя Холл не проверил. Слабый результат Opus 4.8 на логах, в основном от Claude, он лишь называет намёком на это.

Что делать на практике

ИИ-аудитор хорош как счётчик: он оценивает, как часто в потоке сессий случаются нарушения. Как единственный барьер для критичных действий он не годится, потому что гарантировать почти стопроцентную ловлю без лавины ложных срабатываний пока не получается. Для критичных действий оставляйте жёсткие ограничения и подтверждение человеком, а аудитора используйте для выборки и мониторинга трендов. Закладывайте в бюджет и время ревьюеров ложные тревоги, а порог подбирайте на своих логах, а не по чужим бенчмаркам.

Холл также напоминает про инцидент с Hugging Face: разбор данных агентов стоил METR около $400 000 в API-кредитах, и аудит делали самими моделями, с риском перенять их взгляд. Его вывод: мир, где ИИ проверяет только другой ИИ, будет странным и дорогим. А тот, кто выдаёт агентам разрешения без подтверждений, должен нести больше ответственности за последствия.