Dual Exam : GPT 6 Astra décroche 31,3 points parmi les agents multimodaux

Si un agent s'entraîne dans une simulation construite par un modèle du monde, lequel des deux est responsable en cas d'échec ? Un groupe de plus de 80 auteurs propose de les séparer en deux examens distincts. Le benchmark Dual Exam évalue les agents multimodaux et les modèles du monde indépendamment, puis observe ce qui se passe quand on les relie. Le meilleur agent, GPT 6 Astra, obtient 31,3 points à l'Agent Index pondéré. Le meilleur modèle du monde parmi ceux testés intégralement, GPT-Image-2, reçoit 21,7 à WM Overall. Le pilote du couplage, sur 150 cas, n'a résolu aucune tâche.

Deux examens au lieu d'un

L'idée est simple. Un modèle du monde peut fournir à l'agent une expérience simulée, et les trajectoires de l'agent peuvent à leur tour aider à affiner le modèle du monde. Si l'on n'évalue que le résultat final du couplage, impossible de savoir où se situe l'erreur : dans le choix de l'action ou dans la prédiction de l'état suivant. Les auteurs construisent donc deux pistes indépendantes.

Les agents sont testés avec des mécanismes de réponse de l'environnement fixes. Les modèles du monde sont testés avec des interventions fixes, c'est-à-dire des actions définies à l'avance. Quatre domaines sont couverts : physique, numérique, social et scientifique. Le résultat ne peut ainsi pas s'expliquer par un environnement ou des actions différents à chaque essai.

Ce qui a été mesuré

La piste agents compare 10 configurations sur 1 088 tâches, regroupées en 15 catégories de rapport. La piste modèles du monde comprend 400 cas répartis en huit scénarios. 15 configurations bénéficient d'une couverture complète ; une autre n'a passé que six scénarios.

Les chiffres clés :

• GPT 6 Astra : 31,3 à l'Agent Index pondéré par cas, première place parmi les agents ;
• GPT-Image-2 : 21,7 à WM Overall, première place parmi les modèles du monde avec couverture complète ;
• piste agents : 10 configurations, 1 088 tâches, 15 catégories ;
• piste modèles du monde : 400 cas, 8 scénarios, 15 configurations avec couverture complète et une avec une couverture de six scénarios ;
• pilote du couplage : 150 cas, 0 tâche réussie.

Les auteurs avertissent eux-mêmes que 31,3 et 21,7 ne sont pas comparables. Les deux pistes ont des tâches et des métriques différentes, et ne se placent pas sur une même échelle. Ces chiffres désignent des leaders au sein de leur catégorie, pas une supériorité des agents sur les modèles du monde.

Zéro succès pour le couplage

Le résultat le plus frappant de l'étude concerne le pilote. Les chercheurs ont pris une seule paire « agent + modèle du monde » et l'ont fait passer sur 150 cas. Aucune tâche ne s'est terminée avec succès. Les auteurs en concluent qu'il faut un diagnostic par composant : le score global du couplage ne dit rien de ce qui est tombé en panne.

Les résultats des deux pistes dessinent le tableau suivant. La qualité varie d'une tâche à l'autre : une configuration solide dans un domaine décroche dans un autre. Les modèles du monde ne conservent souvent pas l'état important pour la tâche. Si un objet ou un paramètre de la simulation « dérive » après une étape, l'agent apprend à partir d'une expérience déformée.

L'étude ne promet pas pour autant qu'un score élevé à Dual Exam prédira la réussite d'un couplage, ni un apprentissage mutuel stable entre l'agent et le modèle du monde. Les auteurs écrivent explicitement que la valeur de ces évaluations pour une telle prédiction reste à démontrer.

Comment exploiter ces résultats

Pour les équipes qui développent des agents entraînés en simulation ou dans un environnement « imaginé », la conclusion est pratique. Il ne faut pas se fier à une seule métrique agrégée. L'agent et le modèle du monde doivent être évalués séparément, en vérifiant d'abord si le modèle du monde conserve l'état dont dépend la tâche. Si le couplage ne fonctionne pas, c'est par là qu'il faut commencer, et non par l'affinage de l'agent.

Pour ceux qui choisissent des modèles, ces chiffres servent de repère au sein d'une piste. GPT 6 Astra fixe la barre pour les agents, GPT-Image-2 pour les modèles du monde. Mais 31,3 et 21,7 restent des scores modestes, et l'industrie est encore loin d'un couplage fiable des deux composants. L'article est paru sur Hugging Face Daily Papers le 22 octobre 2026 sous le numéro arXiv 2610.31066 et a recueilli 8 votes.