GlobeBench : le meilleur LLM ne prédit la réponse de l'environnement que dans 49,57% des tâches

Des chercheurs ont présenté GlobeBench, un benchmark qui tente pour la première fois de réunir dans un même tableau les modèles du monde textuels, c'est-à-dire les systèmes qui prédisent comment l'état d'un environnement change après l'action d'un agent. Le jeu de tâches compte 1632 tâches, cinq domaines et dix-neuf compétences de simulation. Vingt modèles ont été testés, des LLM généralistes aux simulateurs textuels spécialisés. Le leader, GPT-6 Astra, atteint 49,57% de tâches réussies : il n'atteint donc même pas la moitié. Les modèles peinent surtout avec les effets en cascade : lorsque l'action d'un agent doit toucher des objets dépendants, le taux de réussite moyen sur l'ensemble des 20 modèles s'établit à 5,1%.

Ce qui est évalué, et comment

L'idée des modèles du monde textuels est simple : au lieu d'un environnement réel, coûteux et fragile, pour l'apprentissage par renforcement, c'est le modèle de langage lui-même qui indique ce qui se passe après chaque pas de l'agent. Cela réduit le coût du passage à l'échelle des environnements, mais il n'existait jusqu'ici aucune méthode commune pour comparer ces systèmes entre eux. GlobeBench comble ce vide.

Chaque tâche fournit au modèle la trajectoire complète de l'agent et une action précise. Il doit prédire la réponse de l'environnement. Pour cela, il lui faut se souvenir des changements d'état antérieurs, respecter les règles de l'environnement et comprendre comment l'action affecte à la fois les objets liés et les objets non liés. Ce dernier point compte : un modèle qui « ajoute » des modifications superflues se trompe tout autant que celui qui omet les modifications nécessaires.

La prédiction est comparée à une référence obtenue par exécution réelle. L'évaluation est hybride : des « barrières » déterministes écartent les réponses formellement incorrectes, puis un juge sémantique évalue les autres.

Où les modèles échouent

La principale conclusion concerne l'ampleur des conséquences. La précision chute à mesure que l'action touche une part croissante de l'environnement. Prédire qu'un objet a changé de statut est une chose. Suivre la façon dont ce changement se répercute sur tous les éléments qui en dépendent en est une autre. Sur ce point, presque tous les modèles s'effondrent.

• Tâches : 1632, domaines : 5, compétences de simulation : 19.
• Modèles comparés : 20, dont des LLM généralistes et des modèles du monde textuels spécialisés.
• Meilleur résultat : GPT-6 Astra, 49,57% de tâches réussies.
• Tâches impliquant la propagation des changements à des objets dépendants : 5,1% de réussite en moyenne.
• Tâches résolues par aucun modèle : 631, soit environ 38,7% du jeu de tâches.

Ce dernier chiffre en dit long. Les points forts des modèles varient d'une tâche à l'autre, de sorte qu'un ensemble de modèles ou un routage entre eux apporterait un gain : 1001 tâches ont tout de même été résolues par au moins un modèle. Mais près de 40% du jeu de tâches reste hors de portée de tous les participants réunis. C'est là un plafond pour toute cette classe de systèmes, et non une lacune propre à un modèle.

Que faire pour les équipes qui construisent des simulateurs

Si vous entraînez des agents dans des environnements synthétiques où un LLM génère les transitions d'état, les repères sont désormais concrets. Sur des changements simples en une seule étape, on peut compter sur une qualité acceptable. En revanche, on ne peut pas se fier aux chaînes de dépendances : avec 5,1% de réussite, une telle simulation fournira à l'agent de fausses conséquences de ses actions. L'agent apprendra alors non pas l'environnement, mais les erreurs du simulateur.

En pratique, cela se traduit par trois consignes. Premièrement, vérifiez les transitions critiques à l'aide d'une logique exécutable partout où c'est possible, et réservez le modèle aux parties de l'environnement difficiles à formaliser. Deuxièmement, testez votre propre simulateur séparément sur les tâches de propagation des changements, et pas seulement sur la précision moyenne globale, qui masque cet échec. Troisièmement, regardez la dispersion entre les modèles. Puisque leurs points forts diffèrent, mieux vaut comparer les candidats sur votre propre domaine que d'en choisir un d'après un seul classement.

Pour les chercheurs, GlobeBench offre un point de référence commun et un ensemble de 631 tâches non résolues, utile pour mesurer les progrès réels. Pour l'instant, un modèle du monde fondé sur un LLM reste un outil utile mais peu fiable, surtout dans des environnements complexes aux éléments interdépendants.