CToM учит LLM предсказывать ответ пользователя и поднимает точность до 79,6%

Исследователи опубликовали на arXiv метод Collaborative Theory of Mind (CToM), который учит языковые модели лучше работать с человеком в длинных диалогах. Модель сначала пишет черновик, затем предсказывает, как ответит пользователь, и только после этого дорабатывает ответ. На задаче совместного математического рассуждения финальная точность выросла с 74,1% до 79,6% по сравнению с обычным GRPO. В кодинге и письме при той же награде пользователю пришлось отвечать на 8% и 17% реже соответственно.

Где ломается совместная работа

Авторы начинают с наблюдения, которое знакомо каждому, кто делал с LLM что-то сложнее одного запроса. Модели сильны в отдельных задачах, но в многоходовом диалоге ведут себя неудобно. Они бросаются в решение, не выяснив, что человеку на самом деле нужно. Получив поправку, они не пересматривают прежние допущения и продолжают строить на ошибочной базе. Обычное обучение с подкреплением за итоговый результат этого не лечит: модель не получает сигнала о том, что человек думает о её ходе.

Как устроен CToM

Предлагаемый цикл состоит из трёх шагов: черновик ответа, прогноз реакции пользователя и внутренняя ревизия на основе этого прогноза. Человек видит только итог. Для обучения реальная реплика пользователя на каждый черновик служит целью для предсказания следующего хода, а ассистента тренируют минимизировать negative log-likelihood этой реплики. Эту задачу объединяют с GRPO (group-relative policy optimization). Так модель одновременно оптимизирует качество решения и эффективность взаимодействия, то есть число ходов, которое понадобилось, чтобы добраться до результата.

В аннотации не уточняется, были ли реплики пользователя живыми или генерировались симулятором. От этого зависит, насколько результат переносится на реальные продукты, и ответ придётся искать в полном тексте статьи.

Цифры

Метод проверяли на математических рассуждениях, кодинге и письме. По заявлению авторов, CToM обходит все базовые методы по качеству совместной работы. Основные показатели:

• математика: итоговая точность 79,6% против 74,1% у наивного GRPO, прирост 5,5 п.п.;
• кодинг: при той же награде добавление supervision на предсказание сокращает число реплик пользователя на 8%;
• письмо: сокращение числа реплик на 17% с одновременным ростом качества;
• поведенческий анализ: после обучения предсказания реакций пользователя становятся точнее.

Последний пункт важнее остальных, потому что показывает механизм. Авторы выяснили, что более точные предсказания связаны с более заметным ростом качества через самоправку. Значит, выигрыш дают не побочные эффекты обучения, а именно способность модели моделировать собеседника. Вывод пока корреляционный, и считать его доказанной причинностью было бы слишком смело.

Что с этим делать разработчикам

Для команд, которые строят ассистентов и кодинг-агентов, идея практична. Реплики пользователей после каждого ответа уже лежат в логах, и это готовая обучающая цель для предсказания следующего хода. Метрику «сколько раз человеку пришлось поправлять модель» стоит добавить рядом с точностью: 8–17% экономии ходов в долгой сессии заметны в реальной работе.

Есть и ограничения. Черновик плюс прогноз плюс ревизия означают лишние токены и задержку, и в аннотации стоимость инференса не обсуждается. Прирост в 5,5 п.п. на математике скромный, а работа остаётся препринтом первой версии без независимой проверки. Если прогноз реакции окажется неверным, ревизия может увести ответ не туда. Перед внедрением имеет смысл прогнать метод на собственных диалогах и сравнить число ходов и итоговое качество с базовой моделью.