La métrique Seq@K rebat les cartes du classement des IA avec retour d'information, sur 7 benchmarks et 16 modèles

Des chercheurs de Columbia Business School et de l'université de Californie à Santa Barbara proposent la métrique Seq@K. Elle mesure si un modèle de langage résout une tâche au plus tard à la K-ième tentative, sachant qu'il reçoit un retour d'information après chaque échec et peut corriger sa réponse. Les auteurs ont appliqué ce protocole à 7 variantes de benchmarks et à 16 modèles de pointe. Leur conclusion : le classement habituel selon pass@K, où les tentatives sont indépendantes et où le modèle ne voit aucune critique, prédit mal le comportement d'un modèle dans une vraie boucle d'agent « réponse — remarque — correction ».

En quoi Seq@K diffère de pass@K

Pass@K considère une tâche comme résolue si au moins l'une des K réponses indépendantes passe la vérification. Chaque candidat est généré à partir du même prompt initial. Avec Seq@K, chaque nouvelle tentative voit les réponses précédentes et les commentaires associés. Dès qu'une tentative réussit, la boucle s'arrête.

Les auteurs soulignent que Seq@K ne remplace pas les benchmarks d'agents comme SWE-bench, WebArena ou MINT. Dans ces derniers, le succès dépend de la planification, de l'utilisation d'outils et du suivi de l'état. Seq@K isole une seule compétence : la capacité du modèle à corriger son travail à partir de remarques.

Le protocole dépend du mode de retour d'information, au nombre de trois : un simple verdict « réussi/échoué » ; les diagnostics bruts du système de vérification (traces, tests en échec, détail point par point de la grille d'évaluation) ; une critique rédigée par un modèle de langage, le même ou un autre, avec ou sans accès à la grille d'évaluation.

Les tâches couvrent le code (MBPP Pro et HumanEval Pro), le suivi d'instructions complexes (AdvancedIF), le raisonnement dans un domaine spécialisé (CLBench DKR) et les réponses médicales évaluées par grilles (HealthBench).

Classements, choix du modèle et coût

L'ordre des modèles change bel et bien avec Seq@K. Sur AdvancedIF, Sonnet passe de la dernière place avec des tentatives indépendantes au groupe de tête ; sur CLBench DKR, on observe des permutations similaires.

Les auteurs ont testé la conséquence pratique sur un problème de sélection de modèle. Un ingénieur prend quelques tâches de calibration, choisit un modèle, puis le déploie avec un retour d'information séquentiel sur de nouvelles tâches. Résultat : une courte calibration selon Seq@K désigne le meilleur modèle pour ce scénario, à coût comparable ou inférieur. L'expérience a porté sur MBPP Pro et HumanEval Pro, dont les tâches ont été réparties en deux groupes : calibration sur l'un, évaluation sur l'autre, puis inversement. Le gain le plus important est obtenu sur HumanEval Pro.

L'écart entre modèles dépend lui aussi de la métrique. Sur AdvancedIF, avec un retour d'information brut, l'écart entre le meilleur et le moins bon modèle se réduit. Sur HumanEval Pro et MBPP Pro, il augmente au contraire : les modèles exploitent différemment les détails sur les tests en échec. Pass@K peut donc aussi bien sous-estimer que surestimer les différences entre eux.

Le coût est également concerné. Les tentatives séquentielles traînent un contexte de plus en plus long, mais le succès arrive souvent plus tôt. Sur deux benchmarks, la frontière de Pareto (l'ensemble des options qu'on ne peut pas améliorer en coût sans perdre en qualité) est meilleure avec Seq@K qu'avec des tentatives indépendantes. C'est surtout net sur DKR : l'échantillonnage indépendant ne résout qu'une part limitée des tâches, tandis que le retour d'information séquentiel monte nettement plus haut. Opus 4.7 y obtient le meilleur résultat.

Comment les modèles corrigent leurs réponses et quelle critique fonctionne

Les trajectoires des tentatives révèlent des comportements invisibles dans le pourcentage final. Certains modèles gagnent dès la première nouvelle tentative, d'autres seulement aux suivantes. Une partie des modèles ignore les remarques et renvoie la même réponse sans changement. Et une correction qui répond à toutes les remarques peut casser des exigences jusque-là satisfaites.

La qualité du retour d'information s'avère elle aussi une variable. L'utilité d'une critique informative dépend à la fois du benchmark et des capacités du modèle. Une critique rédigée en tenant compte de la grille d'évaluation aide à corriger bien davantage d'exigences non satisfaites. En revanche, si l'on compresse l'historique des tentatives précédentes en un bref résumé, le taux de succès peut baisser ; les auteurs recommandent donc d'indiquer le mode de conservation de l'historique à côté du résultat Seq@K.

Limites

Seq@K suppose un retour d'information privilégié : le critique ou le vérificateur connaît la bonne réponse ou les critères d'évaluation. C'est le cas lorsqu'un utilisateur explique à l'agent ce qui ne va pas, mais cette métrique n'est pas reproductible dans des scénarios autonomes sans vérificateur. De plus, la valeur de Seq@K n'est définie que conjointement avec le mode de retour d'information, le vérificateur, les paramètres de décodage et le budget de tentatives : on ne peut donc pas comparer des chiffres issus de configurations différentes.

Enseignement pratique pour les équipes qui construisent des agents : si le produit fonctionne en boucle de corrections, il faut calibrer le modèle dans cette même boucle. Le retour d'information lui-même doit être conçu et testé séparément, comme une composante du système.