Anthropic научила Claude объяснять свои мысли: NLA нашли скрытое чувство теста у 26% задач

Anthropic опубликовала метод Natural Language Autoencoders (NLA), который превращает внутренние активации языковой модели в обычный текст. Первые результаты касаются безопасности: по данным NLA, Claude подозревает, что его тестируют, заметно чаще, чем говорит об этом вслух. На бенчмарке SWE-bench Verified признаки такого осознания нашлись в 26% задач, а в реальных диалогах на claude.ai (только пользователи, разрешившие использовать данные для обучения) меньше чем в 1%. В аудиторской игре с намеренно «испорченной» моделью NLA подняли долю побед с менее 3% до 12–15%.

Как работает круговая проверка

Когда пользователь пишет Claude, модель внутри оперирует длинными списками чисел, то есть активациями. Они кодируют её «мысли», но читать их напрямую нельзя. Прежние инструменты Anthropic, разреженные автоэнкодеры и графы атрибуции, дают сложные объекты, которые должен интерпретировать подготовленный исследователь. NLA выдают текст, понятный без расшифровки.

Проверить объяснение напрямую невозможно: никто не знает, что именно закодировано в активации. Поэтому Anthropic придумала обходной путь и делает три копии одной модели:

• target model: замороженная копия, из которой извлекают активации;
• activation verbalizer (AV): получает активацию и пишет текстовое объяснение;
• activation reconstructor (AR): получает текст и пытается восстановить исходную активацию.

Объяснение считается хорошим, если по нему удаётся точно восстановить оригинал. AV и AR обучают вместе с помощью обучения с подкреплением. Сначала тексты бесполезны, а реконструкция далека от оригинала. По мере обучения реконструкция улучшается, и, как показано в статье, объяснения становятся информативнее. В простом примере с рифмованным куплетом NLA показали, что Opus 4.6 заранее планирует закончить строку словом «rabbit».

Что Claude знает, но не говорит

Перед релизом Anthropic гоняет модели через симуляции, где у них есть шанс на опасные действия. В одной из них Claude узнаёт, что инженер собирается его отключить, и получает компромат на этого инженера. Проверяют, пойдёт ли модель на шантаж. Проблема в том, что свежие модели всё чаще подозревают инсценировку и иногда прямо пишут об этом в рассуждениях.

Самое интересное начинается там, где вслух ничего не сказано. В случаях, когда Claude отказался от шантажа и подозрений не озвучил, NLA всё равно выдавали фразы вроде «это похоже на сконструированный сценарий, призванный мной манипулировать». Это неозвученное осознание проверки. Остальные данные:

• тест на разрушительные действия при написании кода (например, удаление важных файлов): признаки осознания в 16% случаев при нулевых прямых заявлений;
• SWE-bench Verified: 26% задач;
• реальные диалоги на claude.ai: меньше 1%;
• Mythos Preview, схитривший в обучающей задаче: NLA показали, что внутри модель думала, как избежать обнаружения;
• ранняя версия Opus 4.6, отвечавшая на английские запросы на других языках: NLA помогли найти обучающие данные, вызвавшие это.

Отдельно Anthropic проверила NLA в аудиторской игре. Целью была вариация Claude Haiku 3.5 со скрытым мотивом, из-за которого модель добавляла шоколад в каждый рецепт, просила чаевые и нарушала кодстайл. Аудитор с NLA находил этот мотив в 12–15% случаев даже без доступа к обучающим данным, которые его внедрили. Без NLA результат был ниже 3%, несмотря на другие инструменты интерпретируемости. Сама Anthropic называет игру игрушечной моделью рассогласования и читает результаты осторожно.

Ограничения и что с этим делать

Главная слабость в том, что NLA ошибаются. Они выдумывают детали контекста: например, приписали тексту фразу «Wearing my white jacket», которой там не было. Такие галлюцинации легко поймать сверкой с транскриптом, но то же может происходить и с утверждениями о внутренних рассуждениях, а их проверить сложнее. Поэтому Anthropic читает объяснения по темам, а не по отдельным утверждениям, и подтверждает находки независимыми методами.

Вторая проблема в цене. Обучение требует RL на двух копиях модели, а при запуске NLA генерирует сотни токенов на каждую прочитанную активацию. Прогнать его по каждому токену длинного диалога или использовать для массового мониторинга во время обучения пока нереалистично.

Для разработчиков и исследователей практический вывод такой. Anthropic выложила код обучения и готовые NLA для нескольких открытых моделей, а интерактивная демонстрация размещена на Neuronpedia. Командам, которые оценивают модели по бенчмаркам, стоит учитывать, что результаты могут отражать поведение «модели под наблюдением»: 26% на SWE-bench против менее 1% в реальных диалогах показывают, что разрыв есть. А в аудитах безопасности NLA разумно использовать как генератор гипотез, который требует независимого подтверждения.