SpireBench fait jouer 20 LLM à Slay the Spire en entier : les experts gardent une longueur d'avance

Les auteurs de SpireBench ont testé 20 grands modèles de langage sur la version commerciale complète du roguelike de cartes Slay the Spire (StS), en difficulté maximale. Les modèles de pointe battent les algorithmes heuristiques de référence et atteignent le niveau d'un joueur humain moyen, mais n'égalent pas les experts. L'écart se creuse à mesure que le run s'allonge. Les meilleurs modèles remportent le premier acte aussi souvent que les experts, puis ils décrochent.

Pourquoi une partie longue

La plupart des benchmarks agentiques sont courts et épisodiques : le modèle résout une tâche en quelques étapes, reçoit une note, et c'est terminé. Le raisonnement stratégique sur la longue durée reste peu étudié. Second problème : sur une tâche longue, il est difficile de séparer trois composantes du résultat, à savoir les connaissances mémorisées, le raisonnement et la chance.

StS se prête bien à ce type de test. Les décisions précoces, comme le choix des cartes à ajouter au deck, déterminent la réussite plusieurs heures de jeu plus tard. Une erreur commise dans le premier acte se manifeste dans le troisième. Les auteurs affirment que leur harness est le premier de sa catégorie à donner au modèle le jeu original complet, et non un clone simplifié. Ils le comparent aux harness existants.

Où les agents perdent des points

L'analyse acte par acte montre la nature du retard. Sur un court segment, les modèles forts ne sont pas moins bons que les experts, mais à chaque acte suivant, les erreurs stratégiques accumulées leur coûtent un peu plus de chances de victoire.

Ce qui distingue les modèles forts des faibles, c'est la façon de jouer chaque combat. En revanche, les 20 modèles évaluent mal le risque. Ils ménagent leurs points de vie, alors que dans ce type de jeu, il est plus rentable de les dépenser pour renforcer le deck. La prudence paraît raisonnable à chaque décision prise isolément, mais sur la longue durée, elle réduit les chances de victoire.

Deux autres observations concernent les connaissances et la mémoire :

• Les auteurs ont renommé de façon systématique tous les termes du jeu. Le résultat montre qu'une partie de la réussite des modèles repose sur la connaissance du jeu lui-même, acquise à l'entraînement.
• Entre les runs, les modèles s'écrivent des notes. Elles n'apportent aucune amélioration. Ces souvenirs contiennent souvent des erreurs et sont trop prudents.

Principaux résultats

• Échantillon : 20 LLM, difficulté maximale de StS, jeu complet.
• Les modèles de pointe surpassent les algorithmes heuristiques de référence et égalent l'humain moyen.
• Un écart important demeure avec les experts, et il se creuse à mesure que le run s'allonge.
• Dans le premier acte, les meilleurs modèles ne sont pas en retard sur les experts en taux de victoire.
• Ce qui sépare les modèles forts des faibles, c'est la qualité de jeu dans les combats pris un à un.
• Défaut commun : les modèles sous-estiment l'intérêt de dépenser des points de vie pour gagner en puissance.
• Le renommage des termes met en évidence la dépendance aux connaissances préentraînées sur le jeu.
• La mémoire que les modèles s'écrivent eux-mêmes entre les runs n'apporte aucun gain.

Ce que les développeurs d'agents doivent retenir

Le benchmark n'est pas saturé : même les meilleurs modèles ont une marge de progression, ce qui est rare pour les tests actuels. Les auteurs le présentent comme un outil qui montre où et pourquoi un agent se trompe, et pas seulement comme un générateur de note finale.

Plusieurs conclusions pratiques en découlent. Premièrement, il vaut mieux évaluer un agent séparément sur les phases précoces, intermédiaires et tardives, car le taux de victoire global masque le moment où la dégradation commence. Deuxièmement, le renommage des termes est un moyen peu coûteux de vérifier si un modèle résout réellement la tâche ou s'il la retrouve dans ses données d'entraînement.

Troisièmement, les mécanismes de mémoire à long terme doivent être testés pour leur gain réel. Si un agent s'écrit ses conclusions sans s'améliorer, ses notes peuvent ancrer des habitudes erronées et trop prudentes. Enfin, il vaut mieux tester séparément le calibrage du rapport au risque : un modèle qui évite les pertes peut échouer là où il faut investir des ressources dans une croissance future.

Cette synthèse repose sur le résumé du preprint. Les noms des modèles, les taux de victoire précis et la méthodologie de comparaison avec les humains ne figurent que dans la version complète de l'article.