Relay-Bench : même GPT-5.5 plafonne à 43,3 % sur ce test de raisonnement multidomaine

Des chercheurs ont publié en juillet 2026 sur arXiv Relay-Bench, un benchmark qui évalue la capacité des modèles de langage à résoudre, dans un seul prompt, des tâches liées issues de différents domaines. Le meilleur des modèles testés, GPT-5.5 en mode xHigh, n'obtient que 43,3 % : même le système le plus performant n'est donc pas venu à bout de la moitié des tâches.

Ce que mesure Relay-Bench

Relay-Bench évalue si un modèle parvient à tenir plusieurs domaines de raisonnement au sein d'un même prompt. Le jeu de test se compose exclusivement de tâches composites : plusieurs sous-tâches mono-domaine sont chaînées en une seule séquence, impossible à résoudre en raisonnant dans un seul champ disciplinaire. Chaque énoncé contient de 2 à 13 sous-tâches et reste entièrement textuel — aucune entrée ni sortie multimodale n'est requise, ce qui facilite la reproduction du test sur n'importe quel modèle.

Les auteurs qualifient leur benchmark de « non saturé » (unsaturated) : les modèles actuels disposent encore d'une énorme marge de progression, le plafond est lointain et une simple mise à jour ne suffira pas à l'atteindre. C'est ce qui distingue Relay-Bench de nombreux tests plus anciens, où les meilleurs modèles butent depuis longtemps sur 90 à 100 % et ne se démarquent plus les uns des autres.

• Tête du classement : GPT-5.5 (xHigh) avec 43,3 %
• Chaque tâche est assemblée à partir de 2 à 13 sous-tâches liées
• Domaines : raisonnement visuel, code, mathématiques, extraction d'informations (recherche web), résolution de problèmes, connaissances générales, analyse de données
• Format uniquement textuel — pas d'images en entrée ni en sortie
• Les modèles sont autorisés à exécuter du code, à chercher sur le web et à utiliser tous les outils

Pourquoi même GPT-5.5 ne dépasse pas 43 %

Les énoncés sont volontairement durcis, ce qui explique des résultats faibles même pour les modèles les plus puissants. D'après la description publiée sur arXiv, des couches de difficulté sont ajoutées aux chaînes de base via l'encodage du prompt (prompt encoding) et le gonflement volontaire du contexte (context bloat) : le modèle doit filtrer le bruit sans perdre le fil entre les domaines. Aucune restriction ne s'applique en dehors du model harness : les auteurs encouragent explicitement l'exécution de code, la recherche web et tous les outils disponibles, mais même ainsi, la barre des 43,3 % reste infranchie.

La difficulté centrale tient au passage d'un domaine à l'autre. Un modèle peut résoudre avec assurance une sous-tâche de mathématiques et une sous-tâche de code prises isolément, mais il trébuche lorsque le résultat de l'une doit alimenter la suivante au sein d'un même raisonnement. C'est précisément ce « relais » (relay) qui a donné son nom au benchmark.

«

Un benchmark non saturé, holistique et textuel, qui mesure la capacité des LLM à accomplir un ensemble de tâches issues de domaines différents dans un seul prompt », — extrait de la description de Relay-Bench sur arXiv.

En quoi cela diffère des tests classiques

Relay-Bench ne teste pas des compétences isolées, mais leur combinaison dans une même tâche. Les benchmarks classiques mesurent séparément le code, les mathématiques ou les connaissances générales ; ici, sept domaines sont entremêlés en une seule chaîne, et une défaillance à n'importe quel maillon fait échouer toute la tâche. Ce format se rapproche davantage des scénarios professionnels réels, où un agent doit à la fois chercher des données sur le web, faire des calculs et écrire du code dans le cadre d'une même consigne.

Ce que cela signifie

Relay-Bench met en évidence l'écart entre les compétences ciblées des modèles et le raisonnement de bout en bout : les LLM savent maîtriser chaque domaine pris à part, mais pas encore les relier dans une longue chaîne multidomaine. La marge de progression est considérable : de 43,3 % au plafond, la distance reste grande, et ce sont précisément ces tests « non saturés » qui fixeront le niveau d'exigence pour les prochaines générations de modèles et de systèmes agentiques.

Questions fréquentes

Qu'est-ce que Relay-Bench ?

Relay-Bench est un benchmark textuel présenté sur arXiv en juillet 2026. Il évalue la manière dont les modèles de langage résolvent des tâches composites couvrant sept domaines (code, mathématiques, recherche web, analyse de données, etc.), assemblées en une seule chaîne au sein d'un même prompt.

Quel modèle a obtenu le meilleur résultat ?

Le meilleur résultat revient à GPT-5.5 en mode xHigh : 43,3 %. Autrement dit, même le modèle le plus performant du test a résolu moins de la moitié des tâches, et le benchmark reste « non saturé » et loin de son plafond.