Des agents LLM ont construit en 20 jours une IA pour Hearthstone Battlegrounds plus forte que le top 10 des joueurs

Des chercheurs de MCG-NJU (Changlian Ma et Limin Wang) ont voulu savoir ce que les agents LLM font le mieux : jouer ou construire. La réponse s'est révélée sans ambiguïté. Leur système AutoTavern a assemblé en 20 jours un simulateur complet de Hearthstone Battlegrounds et y a entraîné un agent, TavernAgent, qui a dépassé sur le ladder en direct les dix meilleurs joueurs du serveur. Le classement est passé de 6000 à environ 15 000 MMR, et sur les 20 dernières parties, le bot a obtenu une place moyenne de 1,60 et 80% de victoires.

Battlegrounds est un environnement redoutable pour l'IA : huit joueurs, des boutiques et des combats aléatoires, de l'information cachée et près d'un millier de cartes en interaction. C'est précisément pour cela que les auteurs l'ont choisi comme test pour des agents « chercheurs », capables de mener un problème complexe depuis les données brutes jusqu'à un système qui tient la comparaison avec les humains.

Une usine de recherche plutôt qu'un joueur

AutoTavern est conçu comme un système de recherche auto-améliorant. Des agents LLM spécialisés partagent une mémoire de recherche typée commune, chaque affirmation passe par des portes de vérification, et les parties réelles bouclent la boucle de rétroaction. À l'issue du processus, les agents améliorent le simulateur, les adversaires et la politique de jeu, ainsi que leur propre processus de recherche. L'humain fixe les objectifs et les règles pour les mécaniques ambiguës : il reste un arbitre, pas un développeur.

Le premier résultat a été TavernGym : selon les auteurs, la première copie exacte et reproductible du jeu réel avec l'ensemble complet du contenu. Sur cette base, les agents ont publié 23 versions de TavernAgent. Il est entraîné via PPO contre des adversaires calibrés sur des parties réelles, et joue des matchs complets sur le ladder de manière entièrement autonome.

Les chiffres face aux humains et face aux LLM

Selon la métrique du classement public, TavernAgent affiche une place moyenne de 1,60 et 80% de premières places sur les 20 derniers enregistrements. Les dix joueurs les mieux classés du serveur obtiennent respectivement 2,34 et 59%. Le bot l'emporte sur chaque statistique.

Pour la comparaison avec les modèles de langage, les auteurs ont constitué TavernBench : 960 tâches dans 40 scénarios. Principaux résultats :

• TavernAgent résout 91% des tâches de jeu, les meilleurs LLM de pointe ne dépassent pas 63% ;
• le temps de résolution de TavernAgent est de 0,03 s, contre jusqu'à 26 s pour les LLM ;
• dans la limite d'une seconde accordée à un coup en direct, TavernAgent conserve 90% de sa qualité, alors qu'aucun LLM ne dépasse 26% ;
• classement sur le ladder : de 6000 à environ 15 000 ;
• place moyenne : 1,60 contre 2,34 pour le top 10 du serveur ;
• part des premières places : 80% contre 59% ;
• volume de travail : 20 jours, 23 versions de l'agent.

Les auteurs formulent leur conclusion sans détour : les agents LLM construisent bien mieux qu'ils ne jouent. Un modèle de langage qui doit réfléchir des dizaines de secondes sur un coup perd face à une petite politique spécialisée, créée par lui-même ou par ses pairs.

Ce qu'il faut en retenir

La leçon pratique principale : il ne faut pas forcer un LLM à prendre chaque décision de jeu. Il est plus rentable de l'utiliser comme un ingénieur qui construit l'environnement, vérifie les règles, entraîne un modèle compact et l'améliore de manière itérative sur des données réelles. Cela vaut aussi pour toute tâche soumise à de fortes contraintes de latence : trading, logistique, robotique, simulations.

Deuxième point : les portes de vérification et la mémoire typée partagée apparaissent comme une recette efficace pour des cycles de recherche autonomes et longs. Sans vérification des affirmations, les agents accumulent rapidement des erreurs, et un simulateur précis a ici servi de fondation pour tout le reste.

Troisième point : le code de TavernGym et le benchmark TavernBench sont ouverts sur GitHub (MCG-NJU/AutoTavern). Cela donne à la communauté un banc d'essai reproductible pour tester des systèmes d'agents sur un jeu à information cachée et à forte part d'aléa. Il faut garder à l'esprit que ces résultats concernent un seul jeu et sont revendiqués par les auteurs eux-mêmes, et qu'un humain dans la boucle a quand même tranché les questions litigieuses de mécaniques. Mais 20 jours pour passer de zéro à un niveau supérieur aux meilleurs joueurs du serveur montrent vers où se dirige l'automatisation de la recherche appliquée.