En 20 jours, des agents LLM construisent pour Hearthstone Battlegrounds une IA plus forte que le top 10 des joueurs

Des chercheurs du MCG-NJU (Changlian Ma et Limin Wang) ont voulu savoir ce que les agents LLM font le mieux : jouer ou construire. La réponse est sans ambiguïté. Leur système AutoTavern a assemblé en 20 jours un simulateur complet de Hearthstone Battlegrounds, puis y a entraîné l'agent TavernAgent. Sur le ladder en conditions réelles, celui-ci a devancé les dix meilleurs joueurs du serveur. Son classement est passé de 6000 à environ 15 000 MMR, et sur les 20 dernières parties, le bot a obtenu une place moyenne de 1,60 et 80% de victoires.

Battlegrounds est un environnement exigeant pour une IA : huit joueurs, des boutiques et des combats aléatoires, de l'information cachée et près d'un millier de cartes qui interagissent entre elles. C'est précisément pour cela que les auteurs l'ont choisi comme épreuve pour des agents « de recherche », capables de mener une tâche complexe des données brutes jusqu'à un système qui tient tête aux humains.

Une usine de recherche plutôt qu'un joueur

AutoTavern fonctionne comme un système de recherche qui s'améliore lui-même. Des agents LLM spécialisés se partagent une mémoire de recherche commune et typée. Chaque affirmation passe par une porte de vérification, et les parties réelles bouclent la boucle de rétroaction. À l'issue de chaque cycle, les agents améliorent le simulateur, les adversaires et la politique, ainsi que leur propre processus de recherche. L'humain fixe les objectifs et les règles pour les mécaniques ambiguës : il reste arbitre, pas développeur.

Premier résultat : TavernGym, que les auteurs présentent comme la première copie exacte et reproductible du jeu en conditions réelles, avec l'ensemble du contenu. Sur cette base, les agents ont publié 23 versions de TavernAgent. Celui-ci est entraîné par PPO contre des adversaires calibrés sur des parties réelles, et joue des matchs complets sur le ladder de façon entièrement autonome.

Les chiffres face aux humains et face aux LLM

Sur la métrique du classement public, TavernAgent affiche une place moyenne de 1,60 et 80% de premières places sur les 20 dernières parties enregistrées. Pour les dix joueurs les mieux classés du serveur, ces mêmes indicateurs sont de 2,34 et 59%. Le bot l'emporte sur chaque statistique.

Pour la comparaison avec les modèles de langage, les auteurs ont constitué TavernBench : 960 tâches dans 40 scénarios. Principaux résultats :

• TavernAgent résout 91% des tâches de jeu, les meilleurs LLM de pointe au maximum 63% ;
• temps de résolution : 0,03 s pour TavernAgent, jusqu'à 26 s pour les LLM ;
• avec une seconde, soit le temps d'un tour en direct, TavernAgent conserve 90% de sa qualité, tandis qu'aucun LLM ne dépasse 26% ;
• classement sur le ladder : de 6000 à environ 15 000 ;
• place moyenne : 1,60 contre 2,34 pour le top 10 du serveur ;
• part de premières places : 80% contre 59% ;
• volume de travail : 20 jours, 23 versions de l'agent.

Les auteurs tirent une conclusion tranchée : les agents LLM construisent bien mieux qu'ils ne jouent. Un modèle de langage qui doit réfléchir des dizaines de secondes à chaque tour perd face à une petite politique spécialisée, créée par lui-même ou par ses confrères.

Ce qu'il faut retenir

La principale leçon pratique : il ne faut pas forcer un LLM à prendre chaque décision de jeu. Il est plus rentable de l'utiliser comme un ingénieur qui construit l'environnement, vérifie les règles, entraîne un modèle compact et l'améliore de façon itérative à partir de données réelles. Cela vaut aussi pour toute tâche soumise à de fortes contraintes de latence : trading, logistique, robotique, simulations.

Deuxième point : les portes de vérification et la mémoire commune typée ressemblent à une recette qui fonctionne pour de longs cycles de recherche autonomes. Sans vérification des affirmations, les agents accumulent rapidement les erreurs, et ici, un simulateur exact a servi de fondation à tout le reste.

Troisième point : le code de TavernGym et le benchmark TavernBench sont ouverts sur GitHub (MCG-NJU/AutoTavern). La communauté dispose ainsi d'un banc d'essai reproductible pour tester des systèmes d'agents sur un jeu à information cachée et à part de hasard. Il faut garder en tête que les résultats portent sur un seul jeu et sont annoncés par les auteurs eux-mêmes, et que l'humain dans la boucle a bien tranché les questions de mécaniques litigieuses. Mais passer de zéro à un niveau supérieur aux meilleurs joueurs du serveur en 20 jours montre où va l'automatisation de la recherche appliquée.