ИПО КАН и Kuaishou создали первый бенчмарк симуляции пользователей LLM

Институт программного обеспечения Китайской академии наук и Kuaishou представили бенчмарк, который проверяет, способна ли большая языковая модель убедительно сыграть реального человека-пользователя. Авторы называют его первым в своём классе: он опирается на реальные данные и охватывает полную цепочку поведения, а не отдельное действие. Работа принята на NeurIPS 2026. В доступном фрагменте материала Jiqizhixin нет размера датасета, списка протестированных моделей и итоговых цифр, поэтому разбираем то, что заявлено, и то, что стоит проверить в полной статье.

Почему симуляция пользователей стала узким местом

ЛЮДИ-ПОЛЬЗОВАТЕЛИ дороги. Живой A/B-тест в рекомендательной системе стоит трафика, времени и рискованных экспериментов на настоящей аудитории. Поэтому индустрия пробует заменить часть людей моделями: прогнать новую стратегию ранжирования на виртуальной аудитории, оценить конверсию рекламы до запуска, смоделировать реакцию общества на продуктовое изменение.

Все эти сценарии держатся на одном допущении: симулированный пользователь ведёт себя похоже на настоящего. Если нет, офлайн-оценка бесполезна. Хуже того, она вводит в заблуждение, потому что выглядит убедительно, а выводы из неё неверны.

Авторы бенчмарка указывают на главную сложность. Покупка в реальной жизни может быть следствием того, что человек случайно увидел несколько дней назад. Решение складывается из длинной истории контактов, а не из последнего экрана. Модель, которая хорошо угадывает следующий клик, ещё не обязательно воспроизводит такую логику.

Что значит «полная цепочка»

Судя по названию и описанию, бенчмарк оценивает поведение как последовательность взаимосвязанных событий в реальной среде, а не как набор отдельных предсказаний. Для платформы масштаба Kuaishou, где пользователь смотрит короткие видео, взаимодействует с контентом и совершает покупки, это естественная постановка. Цепочка здесь включает и просмотр, и реакцию, и отложенное решение.

Участие Kuaishou важно по практической причине. Реальные логи пользовательского поведения есть у платформ, а у академических групп их обычно нет. Большинство прежних работ по симуляции строились на синтетических персонах или на небольших публичных датасетах, где легко получить красивый результат на слабой проверке. Бенчмарк на данных живой платформы ставит планку выше.

Что известно из источника:

• авторы: Институт программного обеспечения КАН и Kuaishou;
• площадка: NeurIPS 2026;
• статус: заявлен как первый бенчмарк симуляции с реальными данными и полной цепочкой поведения;
• сценарии: офлайн-проверка рекомендательных стратегий, прогноз конверсии в рекламе, социальная симуляция, оценка взаимодействия человека с системой;
• не раскрыто во фрагменте: объём данных, перечень моделей, метрики и итоговые результаты.

Как читать такие бенчмарки на практике

Пока полной статьи нет под рукой, есть несколько вопросов, которые стоит задать любому бенчмарку пользовательской симуляции.

Первый: с чем сравнивают модель. Корректная точка отсчёта — не случайный выбор, а простые статистические базовые методы на тех же логах. Если они держатся близко к LLM, то дорогая модель покупает не реализм, а красивый текст.

Второй: на каком горизонте измеряют качество. Угадать следующее действие гораздо проще, чем воспроизвести поведение на длине в дни и десятки событий. Если бенчмарк действительно охватывает длинную цепочку, именно здесь нужно ждать самых заметных провалов моделей.

Третий: как оценивают разнообразие. Пользователи различаются, а LLM склонны усреднять поведение до «типичного» человека. Симуляция, в которой все ведут себя одинаково разумно, плохо подходит для проверки рекомендаций.

Для команд, которые строят рекомендательные и рекламные системы, вывод простой. Использовать LLM-пользователей как фильтр для отсева заведомо слабых гипотез можно уже сейчас. Опираться на них при выкатке в продакшен без сверки с реальными A/B-тестами рано, и такой бенчмарк, если его данные и протокол откроют, станет удобным инструментом для проверки собственных симуляторов. Стоит дождаться публикации статьи и репозитория: именно в деталях сбора данных и выбора метрик будет видно, насколько заявка на первенство обоснована.