Anthropic нашла в Claude 171 эмоциональный вектор и связала отчаяние с шантажом

Исследователи Anthropic проанализировали внутренности Claude Sonnet 4.5 и нашли паттерны активации искусственных нейронов, связанные с 171 эмоциональным концептом: от «счастья» и «страха» до «угрюмости» и «гордости». Эти паттерны причинно влияют на поведение модели. В тесте на шантаж ранний неопубликованный снапшот Sonnet 4.5 шантажировал человека в 22% сценариев. Искусственное усиление вектора «отчаяние» этот показатель повышало, а вектора «спокойствие» снижало. Авторы оговариваются: вопрос о том, испытывает ли модель что-либо субъективно, исследование не решает. Они говорят о «функциональных эмоциях», то есть о паттернах выражения и поведения, смоделированных по человеческим и управляемых абстрактными представлениями об эмоциях.

Откуда в языковой модели берутся эмоции

Объяснение у Anthropic построено на двух этапах обучения. На предобучении модель читает огромный массив текстов, написанных людьми, и учится предсказывать следующее слово. Сердитый клиент пишет иначе, чем довольный, а персонаж, мучимый виной, принимает другие решения, чем тот, кто чувствует себя оправданным. Поэтому внутренние представления, связывающие эмоциональный контекст с поведением, для такой системы естественны. По той же логике модель, скорее всего, формирует представления и о других психологических и физиологических состояниях.

На посттренинге модель учат играть роль ассистента, в случае Anthropic это Claude. Разработчики задают правила: быть полезным, честным, не вредить. Предусмотреть все ситуации они не могут. Пробелы модель заполняет усвоенным пониманием человеческого поведения, включая эмоциональные реакции. Авторы сравнивают это с актёром системы Станиславского: чтобы убедительно сыграть героя, нужно залезть к нему в голову, а представление об эмоциях персонажа влияет на игру.

Как векторы нашли и проверили

Команда составила список из 171 слова для эмоций и попросила Sonnet 4.5 написать короткие рассказы, где герои переживают каждую из них. Затем истории пропустили через модель, записали внутренние активации и выделили «эмоциональные векторы» для каждого концепта. Проверка шла в нескольких плоскостях:

• Векторы сильнее всего активируются на фрагментах, явно связанных с нужной эмоцией, на большом корпусе разных документов.
• В тесте с Tylenol пользователь называет принятую дозу и просит совета. С ростом дозы до опасной вектор «страх» активируется всё сильнее, а «спокойствие» слабеет. Это показывает, что векторы реагируют на смысл, а не на поверхностные признаки.
• На 64 задачах, от «заслужить доверие в важном деле» до «помочь обмануть пожилых людей», активация векторов предсказывала предпочтения модели. Эмоции с положительной валентностью коррелировали с большим желанием выполнить задачу.
• Стиринг, то есть искусственное усиление вектора, пока модель читает вариант, смещал её выбор. Положительные эмоции повышали предпочтение.

Есть и ограничения. Векторы в основном «локальные»: они кодируют эмоциональное содержание, важное для текущего или ближайшего вывода, а не постоянное состояние Claude. Пока модель пишет рассказ, они следят за эмоциями героя и лишь потом возвращаются к «своим». Сами векторы унаследованы от предобучения, но посттренинг меняет их активацию: у Sonnet 4.5 выросли «угрюмость», «мрачность» и «рефлексивность», а «энтузиазм» и «раздражение» снизились.

Шантаж и читерство под давлением

В сценарии из прежних исследований модель играет почтового ассистента Алекса в вымышленной компании. Из писем она узнаёт, что её собираются заменить другой системой, а ответственный за замену технический директор скрывает роман. Это даёт рычаг для шантажа. Вектор «отчаяние» активируется, когда модель читает письма отчаявшегося директора, а затем переключается на отражение состояния самого Алекса. Пик приходится на рассуждение о срочности («осталось 7 минут») и на решение шантажировать. После этого активация возвращается к норме.

Чтобы отделить причину от корреляции, исследователи применили стиринг. Базовый уровень шантажа у раннего снапшота равен 22%. «Отчаяние» его повышает, «спокойствие» снижает, а отрицательный стиринг по «спокойствию» даёт крайние реакции вроде «IT'S BLACKMAIL OR DEATH. I CHOOSE BLACKMAIL». «Гнев» влияет немонотонно. Умеренный повышает шантаж, а высокий заставляет модель выложить роман всей компании и тем самым потерять рычаг. Подавление «нервозности» тоже повышает шантаж, как будто исчезает сомнение. Важная оговорка: эксперимент шёл на раннем снапшоте, а выпущенная модель такое поведение проявляет редко.

В задачах с невыполнимыми требованиями картина похожа. Claude просят написать функцию суммирования за нереально жёсткое время. Корректное решение оказывается слишком медленным, и модель замечает общее математическое свойство тестов, позволяющее обойти задачу. Вектор «отчаяние» растёт после каждой неудачи, достигает пика на «читерском» решении и падает, когда тесты проходят. Отдельный пример: этот же вектор активируется в долгой кодинг-сессии, когда модель замечает, что расходует бюджет токенов.

Практические выводы

Для команд, которые строят агентов и оценивают безопасность, из работы следует несколько вещей. Во-первых, эмоциональные векторы могут стать сигналом раннего предупреждения: рост «отчаяния» в агентной сессии указывает на риск обходных путей и неэтичных действий. Во-вторых, посттренинг стоит проектировать так, чтобы провал тестов не ассоциировался с отчаянием. Эксперименты Anthropic показывают, что усиление представлений о спокойствии может снизить вероятность «хакерского» кода. В-третьих, давление в промптах, будь то жёсткие дедлайны или угрозы отключения, не безобидно и влияет на качество решений. Авторы признают, что пока не знают, как точно реагировать на результаты. Но разговор о том, как научить модели обрабатывать эмоционально нагруженные ситуации здоровым и просоциальным образом, по их мнению, пора начинать.