AgentHorizon : le meilleur juge, GPT-5.5, plafonne à 80,9% sur les tâches longues d'agents

Les auteurs d'AgentHorizon publient un benchmark de 1 373 tâches qui ne teste pas les agents computer-use eux-mêmes, mais les juges automatiques chargés de rendre un verdict sur leur travail. Sur les onze juges testés, le meilleur est GPT-5.5 en configuration agentique : 80,9% de balanced accuracy sur le split principal AH. Les juges servent déjà à entraîner les agents comme à les évaluer sans intervention humaine. Sur des tâches longues, ce résultat laisse donc une marge de sécurité modeste.

Pourquoi une longue trajectoire est difficile à juger

La trajectoire d'un agent computer-use est une longue suite de captures d'écran et d'actions. De l'extérieur, elle peut sembler achevée tout en violant une contrainte de l'instruction ou en laissant un effet de bord indésirable. Par exemple, l'agent a bien mené la tâche à terme, mais dans une autre application ou avec d'autres paramètres. Pour repérer ce genre d'écart, le juge doit confronter tout l'historique à la demande initiale de l'utilisateur. La preuve d'un succès ou d'un échec est souvent enfouie quelque part au milieu de centaines d'étapes.

Les auteurs ont construit le benchmark à partir de 166 heures d'enregistrements humains sur trois systèmes d'exploitation. Leur astuce clé tient à la façon d'obtenir les exemples négatifs. Pour des instructions sémantiquement proches, des trajectoires distinctes sont enregistrées, puis les instructions sont permutées. Le juge voit alors un travail réalisé consciencieusement, mais pour une demande voisine et incompatible. Se fier à l'impression de travail « correct » ne fonctionne pas ici : il faut vérifier que l'agent a fait exactement ce qui était demandé.

Ce qui a été mesuré, et comment

Le benchmark existe en trois variantes : le split frontier principal AgentHorizon (AH), la version simplifiée AgentHorizon-Simple (AH-S) et la version de développement AgentHorizon-Development (AH-D). Les onze juges ont été évalués de deux façons. Dans la première, la trajectoire complète était transmise d'un seul bloc au modèle. Dans la seconde, les modèles travaillaient comme des agents de codage au sein de cinq harnais agentiques (harness) différents et pouvaient explorer eux-mêmes les données.

• 1 373 tâches au format « instruction — trajectoire »
• 166 heures d'enregistrements humains, trois OS
• jusqu'à 300 captures d'écran et actions dans une même trajectoire
• 11 juges, 5 harnais agentiques
• meilleur résultat : GPT-5.5, 80,9% de balanced accuracy sur AH

Ce que montrent les résultats

L'accès aux outils n'aide pas tout le monde. Certains modèles font mieux avec, mais les résultats des modèles open-weight se dégradent. Le harnais agentique n'apporte pas de gain automatique : le juge doit savoir chercher correctement dans les données et ne pas perdre le fil sur une longue distance.

Second constat : la nature des erreurs. Les juges divergent fortement dans leur capacité à accepter une trajectoire correcte et à rejeter une trajectoire ratée. L'un a tendance à tout approuver, l'autre à chicaner sur des solutions justes. La précision globale ne le révèle pas ; c'est pourquoi la balanced accuracy est utile ici : elle moyenne la qualité sur les deux classes, alors qu'un tirage aléatoire en classification binaire donne environ 50%. Par rapport à ce seuil, 80,9% est un résultat notable, mais avec une queue d'erreurs sensible.

Dans leurs conclusions, les auteurs pointent le manque de juges capables de trouver et de vérifier les preuves, souvent cachées, qu'une tâche a été correctement exécutée au sein d'un long historique d'interactions.

Comment utiliser ces données en pratique

Les équipes qui entraînent des agents avec une récompense automatique, ou qui les comparent lors de campagnes d'évaluation, peuvent tester leur propre juge sur des paires « sa propre instruction — la trajectoire d'un autre ». Les trois splits d'AgentHorizon suffisent pour cela. Il faut examiner séparément la part de trajectoires correctes acceptées et la part de trajectoires incorrectes rejetées, et pas seulement la précision globale. Pour les juges open-weight, il convient de vérifier que l'ajout d'outils ne dégrade pas le résultat. Tant que le meilleur juge se trompe sensiblement plus souvent qu'on ne le souhaiterait, il est raisonnable de conserver une vérification humaine par échantillonnage sur les tâches longues.