ToM2Vec учит LLM-агентов моделировать партнёра в латентных токенах

Исследователи предложили ToM2Vec: способ научить LLM-агентов формировать теорию сознания (theory of mind, ToM) партнёра не в виде текстового описания, а через фиксированный бюджет непрерывных токенов рассуждения. Метод проверили в пяти семействах сред: Overcooked-AI, многосторонние переговоры, Decrypto, Hanabi и Collab Escape/Capture. Он стабильно обошёл базовую модель и набор обученных и промптовых конкурентов. Отдельно показали, что подход переносится на партнёров из незнакомых семейств моделей, включая проприетарную GPT-5.4.

Почему текст плохо хранит неопределённость

Успешная кооперация зависит от того, насколько точно агент представляет себе, что у партнёра в голове. Ключевое слово здесь «неопределённость»: на самом деле партнёр может находиться в нескольких состояниях сразу. Он может не знать, где лежит нужная карта, может преследовать другую цель или просто ошибиться. Хорошая ToM должна удерживать сразу несколько таких гипотез.

Текстовое пространство, в котором живут LLM-агенты, для этого неудобно. Язык легко описывает одно состояние: «партнёр думает, что у него в руке красная пятёрка». Распределение возможных состояний в связном тексте выразить гораздо сложнее. Модель обычно выбирает одну версию и дальше строит на ней всё планирование. Если версия неверна, вся цепочка действий съезжает.

Обучение на чужих мыслях

Авторы переносят рассуждение о партнёре в скрытое непрерывное пространство. Агент получает фиксированное число ToM-токенов: это не слова, а векторы. На обучении их контролируют по реальным мыслям партнёра. Токены учатся абстрагировать эти мысли и совпадать с ними, то есть сжимать чужое рассуждение в компактное представление.

На тесте каждый агент сам генерирует свои ToM-токены. Они работают как условие для его собственных мыслей и действий: сначала агент формирует гипотезу о партнёре, потом думает и действует с её учётом. Бюджет токенов фиксирован, поэтому стоимость такого шага предсказуема, а контекст не раздувается длинными текстовыми рассуждениями о чужих намерениях.

Пять сред и один проприетарный партнёр

Набор сред намеренно разнообразен. Здесь есть чистая кооперация (Overcooked-AI, Hanabi), конкуренция и смешанные мотивы (многосторонние переговоры, Decrypto, Collab Escape/Capture). Во всех этих постановках ToM2Vec показал стабильный прирост относительно базовой модели и конкурирующих подходов.

Главные результаты работы:

• Латентная форма рассуждения критична: при выражении того же рассуждения в тексте качество падает.
• Обучение обобщается на семейства партнёрских моделей, не встречавшиеся при тренировке.
• Среди незнакомых партнёров есть проприетарная GPT-5.4.
• Улучшения прослеживаются в кооперативных, соревновательных и смешанных сценариях.
• Сравнение шло и с обученными, и с промптовыми базовыми решениями.

Отдельный блок анализа отвечает на вопрос, действительно ли токены кодируют ToM, а не просто подсказки под конкретную игру. Авторы проверяли это напрямую: с ToM2Vec-токенами агент лучше отвечает на вопросы об убеждениях партнёра, его желаниях и следующих действиях. Это довод в пользу того, что в токенах лежит именно модель другого агента, а не особенности задачи.

Что менять в архитектуре агентских систем

Для тех, кто строит мультиагентные системы, работа даёт несколько практических ориентиров. Во-первых, явное текстовое «размышление о партнёре» может быть слабым звеном: если оно ломает вероятностную картину, стоит попробовать латентный канал с ограниченным бюджетом. Во-вторых, супервизия мыслями партнёра, а не только исходами игры, даёт более богатый обучающий сигнал для социального интеллекта агента. В-третьих, перенос на GPT-5.4 говорит о том, что агента можно обучать на одних моделях и ставить рядом с другими, в том числе закрытыми, без переобучения под каждого партнёра.

Ограничения тоже понятны. Латентные токены труднее читать и отлаживать, чем текстовую цепочку рассуждений. Для продуктов, где важна аудитируемость решений агента, придётся искать баланс между точностью и прозрачностью. Зато для задач, где скорость и качество координации важнее объяснимости (игровые боты, переговорные агенты, роботы в общем рабочем пространстве), подход выглядит рабочим кандидатом. Следующий вопрос в том, как он поведёт себя с людьми-партнёрами, чьи мысли в обучающую выборку так просто не попадут.