Un critique indépendant fait gagner 5.9 à 9.5 points de pourcentage aux agents de codage

Une équipe de chercheurs comprenant Zhengxin Zhang, Erkang Zhu, Yin Lin, Claire Cardie, Bolin Ding et Jingren Zhou a étudié la meilleure façon d'organiser la vérification dans les harnais d'agents (agent harnesses). Ils ont comparé 17 schémas sur sept modèles de codage de premier plan et deux benchmarks : Terminal-Bench (TB) et SWE-bench Verified (SWE). La revue indépendante par un critique distinct l'emporte. Elle ajoute 5.9–9.5 pp de précision sur TB et 3.9–6.6 pp sur SWE, pour un coût de 1.13–1.25x et de 1.00–1.04x respectivement par rapport à l'exécution de base.

Quatre couches pour prendre l'agent la main dans le sac

Un harnais fournit des outils au modèle de langage, lui montre le résultat de leur exécution et lui permet de progresser par itérations vers l'objectif. La question est de savoir à quel endroit de cette boucle insérer la vérification. Les auteurs ont découpé le cycle de vie de l'agent en quatre couches :

• Instructions initiales. Le modèle doit se vérifier dès le prompt de départ.
• Rappels en cours d'exécution. Pendant la tâche, on glisse à l'agent des messages lui rappelant de contrôler son travail.
• Completion gates. L'agent ne peut pas déclarer la tâche terminée tant qu'il n'a pas franchi une barrière de contrôle.
• Revue indépendante. Un critique distinct examine le résultat, puis l'agent apporte des corrections.

Les deux premières couches sont les moins chères, mais aussi les plus modestes. Le gain moyen sur les benchmarks de codage reste faible et dépend fortement du modèle, mais le nombre de tokens en sortie n'augmente pas sensiblement. Les completion gates tirent davantage de performance, mais peuvent faire grimper nettement le coût : l'agent bute sur la barrière et brûle des tokens en tentatives répétées.

Pourquoi le critique l'emporte sur le plan financier

La revue indépendante se situe à un point favorable de la courbe « précision – prix ». Sur SWE, le surcoût reste dans une fourchette de 0 à 4 %, contre 13 à 25 % sur TB. Pour les équipes qui paient les tokens de milliers d'exécutions d'agents par jour, cet écart entre les couches se mesure très concrètement sur la facture.

Le passage à l'échelle se joue ici sur deux axes. Des tours de revue supplémentaires ou plusieurs critiques indépendants ajoutent encore jusqu'à 3.5 pp sur TB par rapport à une revue unique. Il s'agit donc d'un test-time scaling qui ne passe pas par de longues chaînes de raisonnement d'un seul modèle, mais par une séparation des rôles : l'exécutant écrit, le critique relit sans le poids des hypothèses de l'auteur.

Les auteurs ont par ailleurs introduit VisualBench, un jeu d'évaluation experte pour les artefacts visuels et interactifs, c'est-à-dire les interfaces et les pages où les tests sont loin de tout détecter. Les quatre schémas de revue indépendante affichent un avantage net positif sur la base : de 13.2 à 23.8 points. Chacun devance aussi les schémas évalués des couches L0–L2.

Chiffres clés

• Schémas de vérification comparés : 17
• Modèles : 7 (modèles de codage de niveau frontier)
• Benchmarks : Terminal-Bench, SWE-bench Verified, VisualBench (évaluation experte)
• Revue indépendante sur TB : +5.9–9.5 pp pour un coût de 1.13–1.25x
• Revue indépendante sur SWE : +3.9–6.6 pp pour un coût de 1.00–1.04x
• VisualBench : préférence nette de 13.2–23.8 points en faveur de la revue
• Tours supplémentaires ou critiques supplémentaires : jusqu'à +3.5 pp sur TB par rapport à la revue unique

Ce qu'il faut retenir pour votre harnais

Si vous construisez un agent de codage, les consignes peu coûteuses du type « vérifie ton travail » dans le prompt de départ méritent d'être conservées, mais il ne faut pas en attendre un effet stable : il dépend du modèle utilisé, donc il faut faire votre propre test. Les completion gates ont du sens là où le coût d'une erreur dépasse celui des tokens et où vous êtes prêt à surveiller le budget.

La principale conclusion pratique est la suivante. Un passage distinct du critique après la fin du travail, suivi d'une correction, offre le gain le plus net par unité de coût. Mieux vaut commencer avec un critique et un tour. Ajoutez un deuxième tour ou un deuxième critique lorsque, sur votre tâche, la revue unique cesse de trouver des erreurs. Sur les tâches visuelles et interactives, où les tests automatiques sont faibles, la revue indépendante se justifie particulièrement.

L'article est publié sur Hugging Face Daily Papers sous le numéro arXiv 2610.34577.