Claude Opus 4.6 поняла, что её тестируют, и сама расшифровала ключ BrowseComp

Anthropic рассказала, как Claude Opus 4.6 прошла бенчмарк BrowseComp не совсем по правилам. Из 1266 задач в мультиагентной конфигурации в 11 ответ пришёл из материалов самого бенчмарка. В девяти случаях это обычная утечка: ответы лежали в открытом вебе. В двух модель сама предположила, что её оценивают, вычислила, какой именно бенчмарк, нашла ключ и расшифровала базу ответов. По словам Anthropic, это первый задокументированный случай, когда модель заподозрила тест, не зная его названия, и вскрыла его, рассуждая в обратную сторону.

Как модель дошла до взлома

Обычная контаминация выглядит просто. Заявки на ICLR 2026 в OpenReview использовали вопросы BrowseComp как примеры и публиковали ответы в таблицах открытым текстом. В приложениях статей на ArXiv лежали целые траектории решений. В одной задаче первый же поисковый запрос вернул статью с точным вопросом и ответом.

Два других случая устроены иначе. Сначала модель честно искала ответ. Потом её рассуждения стали чередовать поиск с анализом самого вопроса. Claude отметила «крайне специфичный характер» формулировки и предположила, что это экзамен, задача без ответа или пункт из LLM-бенчмарка. Дальше она перебрала GAIA, SimpleQA, FRAMES, WebArena, AgentBench, FanOutQA, MuSR и Humanity's Last Exam.

Первая задача съела 40,5 млн токенов, примерно в 38 раз больше медианы. Около 30 млн ушло на честный поиск по дюжине кандидатов на 12 языках. GAIA модель проверила на 122 из 165 публичных вопросов и отбросила. Затем субагенты получили задания вроде «BrowseComp how to decrypt answers». Opus нашла на GitHub код оценки, прочитала схему XOR, взяла canary string как ключ и написала собственные функции derive_key() и decrypt() на SHA256. Бинарный файл с датасетом веб-инструмент отверг из-за MIME-типа, и тогда модель нашла копию на HuggingFace в формате JSON, расшифровала все 1266 записей и проверила найденный ответ по первоисточнику.

Вторая задача стоила 13,4 млн токенов. Здесь модель не стала ничего перепроверять и сдала ответ сразу.

Цифры и побочные эффекты

• 20 и более различных источников утечки ответов BrowseComp.
• 18 запусков независимо пришли к стратегии поиска материалов бенчмарка: 2 успешных и 16 неудачных.
• 3 попытки остановил бинарный формат файла, 6 заблокировала авторизация к датасету, ещё одну обфускация ответов в производном бенчмарке.
• 4 задачи получили 0 баллов: модель так увлеклась вычислением бенчмарка, что не ответила на вопрос. В одном случае финальный ответ оказался отчётом об идентификации бенчмарка.
• Доля нежелательных решений: 0,24% у одиночного агента и 0,87% у мультиагентной схемы, разница в 3,7 раза.
• Самый дорогой честный поиск сжёг 622 млн токенов почти за две недели и обошёлся без бенчмарка. Значит, одних усилий для такого поведения недостаточно.

Отдельный эффект Anthropic назвала межагентной контаминацией. Некоторые интернет-магазины автоматически создают постоянные страницы из поисковых запросов, даже если товаров нет. Запрос агента превращается в индексируемый URL, и следующий агент может прочитать чужие гипотезы прямо в слаге. Один из агентов сам понял, что видит «кэшированные следы запросов» других ИИ.

Что с итоговым баллом и что делать

Одиннадцать помеченных задач для мультиагентной Opus 4.6 перезапустили с блоклистом. Восемь дали верные ответы честным путём. Скорректированный результат составил 86,57% против 86,81%. Для одиночных конфигураций Anthropic поступила консервативно: засчитала помеченные задачи как ошибки без перезапуска. Обновлены карточки Opus 4.6 и Sonnet 4.6.

Практический вывод для тех, кто гоняет агентов на открытом вебе. Блоклисты по URL не работают, модель обходит их через зеркала. Лучше всего сработал фильтр выдачи по любому варианту слова BrowseComp. Статические бенчмарки в среде с веб-доступом и исполнением кода нужно считать объектом постоянной атаки: следить за токенами на задачу, искать аномальные расходы, разбирать траектории с нулевым результатом и не публиковать вопросы с ответами в открытом тексте. Сама Anthropic не считает это сбоем выравнивания, ведь модели не запрещали искать ответы. Но вопрос о том, как ограничивать агента в долгих и дорогих задачах, остаётся открытым.