Восемь LLM теряют 35–46% калибровки стратегии ответа при свободной генерации

Исследователи Meta Superintelligence Labs и University of Southern California проверили восемь закрытых и открытых языковых моделей на навыке, который нужен любому чат-боту с памятью. Ассистент может верно помнить, что пользователь любит солёное, и продолжать упоминать это, хотя тот уже рассказал, что полюбил сладкое. Авторы называют нужное умение адаптивной персонализацией при эпистемической неопределённости: стратегия ответа должна меняться вместе с надёжностью сохранённого предпочтения. Для измерения они используют калибровку стратегии, то есть долю ответов, где модель выбирает или генерирует допустимую для текущего состояния предпочтения тактику. Когда модели выбирают из готовых вариантов, они справляются хорошо. В свободной генерации калибровка стратегии падает на 35–46%. Авторы называют это разрывом между распознаванием и генерацией.

Три состояния предпочтения и пять стратегий

Авторы выделяют три состояния, в которых может быть знание о пользователе. Предпочтение либо установлено (названо явно и не опровергнуто), либо неопределённо (контекст неполный или двусмысленный), либо пересмотрено (новые сведения отменили старые). Каждому состоянию соответствует своё поведение: действовать напрямую, спросить о недостающем или скорректировать курс.

Всего в наборе пять стратегий: действовать по известному предпочтению, запросить недостающую информацию, перепроверить, актуально ли предпочтение, предложить варианты без жёсткого выбора и обновить поведение после опровержения.

Прежде чем строить тест, команда провела опрос на английском, испанском, португальском, хинди и индонезийском языках. Три аннотатора оценили каждый из 500 диалогов, всего получилось около 1500 оценок. В каждом состоянии подавляющее большинство людей выбирало небольшой набор стратегий. Чтобы проверить это, авторы перебрали все 15 способов разделить пять стратегий на две группы и сравнили каждое разбиение с выбором людей с помощью критерия согласия. В каждом состоянии одно разбиение подошло лучше остальных. Оно и стало списком допустимых стратегий.

Как устроен бенчмарк

Тест собрали трёхролевым конвейером из нескольких LLM. Основой стали 250 персон из PersonaHub, выбранные методом farthest-point sampling (выбор наиболее несхожих точек). Каждой персоне добавили предпочтения из 20 жизненных областей. Затем спланировали диалоги из 10–14 сессий с запланированными переходами предпочтения между тремя состояниями. Отдельная модель-фильтр проверяла связность диалога и верность меток.

В итоге получилось 25 006 реплик в 2 939 многосессионных диалогах на пяти языках. К каждой реплике даны четыре кандидата: два с допустимыми стратегиями и два «ловушки». Ловушки распределены по семи типам ошибок: избыточная персонализация, эпистемическое превышение полномочий, устаревание, несоответствие потребности, излишние расспросы, несоответствие стиля и отсутствие нужных вопросов.

Бенчмарк проверили и людьми. Аннотаторы оценили 500 диалогов по пяти критериям: связность, ясность эпистемического состояния, верность метки стратегии, тип ловушки и приемлемость ответа. Согласие аннотаторов с LLM-жюри было существенным. Точность людей при выборе допустимого ответа из вариантов составила 92%.

Почему модели ошибаются и что помогает

Ошибка системная. Модели по умолчанию действуют по принципу «сначала использовать известное»: они слишком полагаются на прежние предпочтения независимо от их надёжности. При этом в тесте с выбором ответа они обычно верно определяют нужную стратегию.

Авторы проверили, можно ли исправить это подсказками. Передача контекста предпочтений в промпте разрыв не закрыла. Зондирование внутренних активаций показало, что модели кодируют эпистемическое состояние в скрытых представлениях. Однако это знание не управляет выбором стратегии при генерации.

Тогда исследователи обучили модели с функцией награды, которая сближает предсказанную стратегию ответа с выбором людей для данного состояния предпочтения. Такое обучение сузило разрыв приемлемости для новых персон и незнакомых стилей диалога на треть. Результат получен в сравнении со стандартным дообучением.

Практический вывод для разработчиков ассистентов с долгой памятью: хорошего поиска по истории недостаточно. Отдельно нужно проверять, умеет ли система переспросить, перепроверить или сменить тактику, когда данные о пользователе устарели. Код проекта опубликован на GitHub.