UserArena : un benchmark de 64 729 sessions teste si l'on peut simuler des acheteurs

Les systèmes de recommandation agentiques apprennent à mener l'acheteur vers un objectif à travers une chaîne de décisions qui dépendent du contexte. Tester ces politiques sur de vraies personnes coûte cher et comporte des risques ; l'industrie a donc besoin de simulateurs d'utilisateurs. L'équipe RecGPT-Team présente UserArena, un benchmark qui mesure la fidélité avec laquelle un simulateur reproduit le comportement d'acheteurs réels sur de longues sessions. Le jeu de données compte 64 729 trajectoires issues de 11 010 utilisateurs, 566 102 produits et 13 types d'actions. Avec ce benchmark, les auteurs proposent une méthode d'entraînement, On-Policy Trajectory Distillation (OPTD), et affirment qu'elle devance les autres simulateurs comparés.

Pourquoi la précision du clic suivant ne garantit rien

La plupart des ressources existantes pour les systèmes de recommandation contiennent rarement des trajectoires d'utilisateurs réels longues et détaillées. Plus rarement encore, elles permettent d'évaluer la trajectoire dans son ensemble et de confronter les résultats hors ligne à des A/B tests menés en conditions réelles. Les simulateurs se sont donc habitués à se comparer sur la précision de prédiction de l'action suivante. Or un client en magasin ne devine pas une seule étape. Il cherche, compare, revient, met de côté, achète ou s'en va. Un simulateur peut prédire sans faute chaque clic local et pourtant produire un comportement qui ne ressemble à aucun acheteur réel.

UserArena attaque ce problème sous deux angles. Les trajectoires s'accompagnent d'un environnement interactif dans lequel le simulateur agit comme un utilisateur, tandis que la politique de recommandation réagit à ses actions. En outre, les résultats hors ligne peuvent être rapprochés de ceux d'un A/B test contrôlé réalisé en production. Pour un développeur, c'est une occasion rare de savoir si l'on peut se fier à un simulateur pour choisir entre deux politiques.

Cinq niveaux d'évaluation

L'évaluation dans UserArena prend la forme d'une échelle, du plus simple au plus complexe :

• Validité de la sortie. Le simulateur produit des actions correctes, dans un format admissible.
• Décisions locales. Avec quelle précision l'action suivante est-elle choisie à un point donné de la session ?
• Comportement séquentiel. La chaîne d'étapes est-elle réaliste sur toute la durée ?
• Personnalisation. Le comportement des différents utilisateurs diverge-t-il comme dans les données réelles ?
• Résultats. Les résultats finaux coïncident-ils avec ceux observés en production ?

Ce découpage permet de voir précisément où le simulateur décroche. Un modèle peut franchir sans peine les premiers niveaux et échouer sur la personnalisation ou les résultats. Une métrique agrégée unique ne le montrerait pas.

OPTD : l'enseignant guide token par token, l'élève joue seul

Pour améliorer la précision, les auteurs proposent On-Policy Trajectory Distillation. La méthode fonctionne en mode on-policy : c'est le simulateur-élève qui génère lui-même les réponses, et l'enseignant les évalue par un étiquetage dense au niveau des tokens. L'élément clé est l'intention au niveau de la trajectoire. Elle fixe à l'enseignant l'objectif global de la session, de sorte que les indications données à chaque token restent cohérentes avec ce que l'utilisateur cherche à accomplir sur la longue durée.

La logique est claire. Si l'on entraîne un simulateur uniquement sur des trajectoires déjà constituées, il gère mal ses propres erreurs : un mauvais virage, et il se retrouve dans des états qu'il n'a pas vus à l'entraînement. L'apprentissage sur ses propres exécutions, avec des indications denses, comble cet écart. Et la prise en compte de l'intention empêche des réponses localement plausibles de dériver de l'objectif global.

Parmi les simulateurs évalués, OPTD a obtenu la meilleure précision globale dans le cadre du protocole UserArena. Plus important encore : en simulation hors ligne, il a reproduit plus fidèlement que les autres l'effet de politique enregistré dans le véritable A/B test. C'est cette métrique qui se rapproche le plus de la question pratique : « peut-on remplacer une partie des expériences réelles par de la simulation ? »

Ce que l'on peut utiliser dès maintenant

Le code et les données sont publiés dans le dépôt RecGPT-Team/UserArena sur GitHub, où se trouve aussi la page du projet. Les équipes qui développent des agents de recommandation et d'achat peuvent employer ce jeu de données comme banc d'essai pour comparer des politiques hors ligne avant de lancer de coûteux A/B tests. Le protocole en cinq niveaux mérite aussi d'être appliqué à leurs propres simulateurs : il montre vite à quelle étape un simulateur cesse de ressembler à de vrais utilisateurs. L'approche OPTD s'applique partout où il faut entraîner un modèle sur de longues séquences d'actions avec une intention globale claire.

La limite découle de la conception même : le benchmark repose sur les données d'un seul environnement d'e-commerce. Des vérifications indépendantes diront dans quelle mesure les conclusions se transposent à d'autres marchés et à d'autres catégories de produits. Le travail de Jujia Zhao, Jiakai Tang, Jing Yu, Wen Chen, Jian Wu, Han Zhu, Fei Sun, Suzan Verberne et Zhaochun Ren est publié sur arXiv (2610.30932) et a pris la première place de la sélection quotidienne d'articles de Hugging Face.