StoreBench : des agents LLM pilotent une boutique en ligne et perdent face à un script, 49% contre 97%

Des chercheurs ont publié sur arXiv StoreBench, un environnement dans lequel un agent LLM gère une boutique de vêtements en ligne de taille moyenne, sur un backend commercial de niveau production. Sept modèles de pointe ont été testés sur 11 scénarios de 30 à 45 jours, ainsi que sur une année simulée complète. DeepSeek-V4-Pro obtient le meilleur résultat : le modèle franchit le seuil dans 49% des cellules « tâche × seed ». La politique scriptée smart-triage y parvient dans 97% des cas. Des experts humains, avec les mêmes outils et le même budget, ont obtenu 0,708 au score composite, alors que les modèles n'ont pas dépassé 0,700.

Un monde qui n'attend pas l'agent

Les auteurs partent d'un reproche adressé aux benchmarks d'agents existants. Dans la plupart d'entre eux, le monde est statique et n'évolue que lorsque l'agent agit. La récompense tient en un verdict final unique, et le seuil de réussite est fixé arbitrairement. Or les environnements de RL sont aujourd'hui le principal levier d'amélioration des LLM en post-entraînement, et les défauts d'évaluation se traduisent directement en défauts d'entraînement.

Dans StoreBench, tout fonctionne autrement. Les clients commandent jour et nuit, les fournisseurs changent leurs prix et tombent en panne, et les chocs de marché arrivent avec un préavis partiel, voire sans aucun. L'agent travaille avec les mêmes 29 outils que ceux d'un véritable exploitant de boutique. Le benchmark teste donc la planification à long terme et les décisions économiques en situation d'incertitude.

Paramètres clés de l'environnement :

• 29 outils de marchand, identiques à ceux d'un opérateur humain ; • un budget d'opérations par fenêtre : le temps simulé est déterminé par le nombre d'actions effectuées, si bien que les délais du modèle n'ont pas d'influence sur lui ; • des seuils de réussite calibrés sur des politiques scriptées de référence ; • une récompense protégée contre un catalogue de reward hacks connus ; • chaque épisode se rejoue à l'identique pour une même séquence d'actions ; • 11 scénarios de 30 à 45 jours, plus une année simulée complète, trois seeds de monde et un niveau de reasoning effort identique.

Une heuristique qui bat les modèles frontier

Le chiffre le plus frappant est l'écart avec un simple script. Aucun des sept modèles n'a, en moyenne, égalé la politique smart-triage. DeepSeek-V4-Pro franchit le seuil dans 49% des cellules, l'heuristique dans 97%. Les humains devancent tous les modèles, mais d'une courte marge : 0,708 contre 0,700 au score composite. L'article ne précise pas, dans son résumé, comment ce score composite est calculé. Seul le meilleur modèle y est nommé ; les six autres ne sont pas cités dans le résumé.

Sur la longue distance, le tableau est différent. Sur l'année simulée complète, avec le harnais Claude Code, la plupart des modèles améliorent nettement leur résultat, selon les auteurs. Le résumé ne dit pas clairement à quoi ce gain est comparé. Conclusion probable : le harnais et la longueur de l'horizon comptent au moins autant que le modèle lui-même.

L'expérience d'entraînement est la plus impressionnante. Dans un run GRPO, Qwen3.5-27B n'a été entraîné que sur cinq tâches sans recouvrement. Le score composite moyen sur les tâches mises de côté est passé de 0,136 à 0,373, soit une multiplication par 2,7 environ. Pour un environnement doté d'une récompense fiable et protégée contre les hacks, c'est un bon signal : même un échantillon d'entraînement minuscule se transfère à de nouveaux scénarios.

Ce qu'il faut en retenir

Les auteurs publient cinq exemples de tâches d'entraînement, dix échantillons de trajectoires, ainsi que les outils d'évaluation et de vérification. L'environnement complet et le jeu d'évaluation restent fermés, pour que le benchmark n'entre pas dans les corpus d'entraînement. Cela protège contre la contamination, mais il n'est pas possible, pour l'instant, de revérifier indépendamment le tableau de résultats. Il faut s'en remettre aux données des auteurs : le preprint n'a pas été relu par des pairs, et l'étude ne compte que sept modèles pour trois seeds de monde.

Les équipes qui conçoivent des agents pour des tâches opérationnelles peuvent emprunter quatre pratiques à StoreBench. Premièrement, calibrer le seuil de réussite sur une heuristique simple plutôt qu'au feeling : si un script réussit dans 97% des cas, la barre du « le modèle s'en sort » doit se situer plus haut. Deuxièmement, calculer le temps simulé à partir des actions, afin qu'un modèle lent ne reçoive ni avantage ni pénalité injustes. Troisièmement, tenir un catalogue de reward hacks et y confronter la récompense avant de lancer le RL. Quatrièmement, viser une reproduction déterministe des épisodes, faute de quoi comparer les runs n'a aucun sens.

Enfin, la principale leçon pratique pour les clients d'agents. Tant qu'un script de base surpasse les modèles de pointe sur la routine opérationnelle courante, mieux vaut accorder l'autonomie par paliers : l'association « heuristique plus LLM pour les cas atypiques » paraît plus raisonnable que de confier toute la boutique à l'agent.