UserArena: бенчмарк на 64 729 сессиях проверяет, можно ли симулировать покупателей

Агентные рекомендательные системы учатся вести покупателя к цели через цепочку решений, зависящих от контекста. Проверять такие политики на живых людях дорого и рискованно, поэтому индустрии нужны симуляторы пользователей. Команда RecGPT-Team представила UserArena — бенчмарк, который проверяет, насколько честно симулятор повторяет поведение реальных покупателей на длинных сессиях. В наборе 64 729 траекторий от 11 010 пользователей, 566 102 товара и 13 типов действий. Вместе с бенчмарком авторы предложили метод обучения On-Policy Trajectory Distillation (OPTD) и показали, что он лидирует среди сравниваемых симуляторов.

Почему точность следующего клика ничего не гарантирует

Большинство существующих ресурсов для рекомендательных систем редко содержат длинные, детальные траектории реальных пользователей. Ещё реже они позволяют оценивать траекторию целиком и сверять офлайн-результаты с боевыми A/B-тестами. Поэтому симуляторы привыкли мериться точностью предсказания следующего действия. Но человек в магазине не угадывает один шаг. Он ищет, сравнивает, возвращается, откладывает, покупает или уходит. Симулятор может безошибочно предсказывать каждый локальный клик и при этом выдавать картину поведения, которая не похожа ни на одного живого покупателя.

UserArena парит эту проблему сразу с двух сторон. К траекториям прилагается интерактивная среда, в которой симулятор действует как пользователь, а рекомендательная политика реагирует на его шаги. Сверх того, офлайн-результаты можно сопоставить с исходами контролируемого A/B-теста из продакшена. Для разработчика это редкая возможность понять, можно ли доверять симулятору при выборе между двумя политиками.

Пять уровней проверки

Оценка в UserArena устроена как лестница от простого к сложному:

• Валидность вывода. Симулятор выдаёт корректные действия в допустимом формате.
• Локальные решения. Насколько точно выбирается очередное действие в конкретной точке сессии.
• Последовательное поведение. Реалистична ли цепочка шагов на всей дистанции.
• Персонализация. Отличается ли поведение разных пользователей так же, как в реальных данных.
• Исходы. Совпадают ли итоговые результаты с наблюдаемыми в продакшене.

Такая разбивка позволяет увидеть, где именно ломается симулятор. Модель может уверенно проходить первые уровни и проваливаться на персонализации или исходах. Одна сводная метрика этого не покажет.

OPTD: учитель подсказывает по токенам, ученик ходит сам

Для повышения точности авторы предлагают On-Policy Trajectory Distillation. Метод работает в режиме on-policy: ответы генерирует сам студент-симулятор, а учитель оценивает их плотной токен-уровневой разметкой. Ключевой элемент — намерение на уровне траектории. Оно задаёт учителю общую цель сессии, и подсказки на каждом токене остаются согласованными с тем, чего пользователь добивается на длинной дистанции.

Логика понятна. Если учить симулятор только на готовых траекториях, он плохо переносит собственные ошибки: стоит свернуть не туда, и дальше он попадает в состояния, которых не видел при обучении. Обучение на собственных прогонах с плотными подсказками закрывает этот разрыв. А учёт намерения не даёт локально правдоподобным ответам дрейфовать от общей цели.

Среди оцененных симуляторов OPTD показал наилучшую общую точность в рамках протокола UserArena. Важнее другое: в офлайн-симуляции он ближе остальных воспроизвёл эффект политики, зафиксированный в реальном A/B-тесте. Именно эта метрика ближе всего к практическому вопросу «можно ли заменить часть живых экспериментов симуляцией».

Что можно взять в работу уже сейчас

Код и данные опубликованы в репозитории RecGPT-Team/UserArena на GitHub, там же есть страница проекта. Команды, которые строят агентов для рекомендаций и покупок, могут использовать набор как стенд для офлайн-сравнения политик до запуска дорогих A/B-тестов. Протокол из пяти уровней стоит применять и к собственным симуляторам: он быстро показывает, на каком этапе симулятор перестаёт быть похожим на живых пользователей. Сам подход OPTD применим там, где нужно обучать модель на длинных последовательностях действий с понятным общим намерением.

Ограничение очевидно из постановки: бенчмарк построен на данных одной e-commerce-среды. Насколько выводы переносятся на другие рынки и категории товаров, покажут независимые проверки. Работа авторов — Jujia Zhao, Jiakai Tang, Jing Yu, Wen Chen, Jian Wu, Han Zhu, Fei Sun, Suzan Verberne и Zhaochun Ren — опубликована на arXiv (2610.30932) и заняла первое место в ежедневной подборке статей Hugging Face.