NVIDIA prédit le meilleur agent de code avant le fine-tuning : le classement coïncide à 96 %

Imaginez que vous choisissiez le modèle sur lequel bâtir un agent IA de programmation. Plusieurs candidats sont en lice, et affiner chacun d'eux coûte des centaines de milliers de dollars : il faut donc choisir en amont. Les tests habituels n'aident guère : une partie des tâches de HumanEval et de SWE-bench a fuité dans les données d'entraînement, et dans SWE-Bench Pro, une part notable des tâches contient des erreurs.

Les chercheurs de NVIDIA proposent une autre voie : ne pas demander au modèle de base de résoudre la tâche, mais lui montrer la trace de travail d'un agent performant et vérifier s'il reconnaît la modification de code décisive. Le classement de dix modèles obtenu avec ce test coïncide à 96 % avec le classement après fine-tuning : la corrélation de Spearman vaut 0,964, où 1 signifie un ordre identique et −1 un ordre inversé. Pour HumanEval, cet indicateur est de −0,394, ce qui signifie que l'ordre est plutôt inversé.

L'intérêt pratique est simple : on peut écarter les candidats faibles avant de dépenser de l'argent dans le fine-tuning.

Pourquoi les anciens tests ne fonctionnent plus

HumanEval est sorti en 2021 avec Codex : 164 petites tâches en Python, d'une difficulté comparable à des questions d'entretien pour un développeur junior. Avec le temps, on a constaté que ces tâches sont en accès libre et finissent dans les jeux d'entraînement. Des chercheurs de Berkeley ont retrouvé entre 8 et 18 % des tâches de HumanEval dans RedPajama et StarCoder-Data, et l'équipe d'Allen AI est tombée sur un jeu de données ouvert qui recoupait HumanEval à 70,7 %.

L'industrie s'est ensuite tournée vers SWE-bench Verified. Le 23 février 2026, OpenAI a cessé d'en publier les résultats : sur 138 tâches que son modèle o3 échouait systématiquement, 59,4 % présentaient des erreurs dans les tests ou dans l'énoncé. De plus, GPT-5.

2, Claude Opus 4.5 et Gemini 3 Flash reproduisaient le correctif de référence à partir du seul numéro de la tâche, comme s'ils avaient vu les réponses à l'avance. OpenAI a audité SWE-Bench Pro, qu'elle recommandait en remplacement, moins de cinq mois plus tard et a reconnu qu'environ 30 % de ses tâches étaient défaillantes.

Dans l'une d'elles, l'énoncé impose une indentation d'un espace alors que les tests cachés en attendent deux : exécuter correctement la consigne fait donc échouer la tâche.

Ce que propose NVIDIA

Peut-on simplement confronter le modèle de base à une vraie tâche ? L'équipe a essayé : six modèles de base ont été lancés comme agents sur SWE-bench Verified. Cinq n'ont résolu aucune tâche, alors qu'après fine-tuning, ces mêmes modèles en résolvent de 39 à 81 %. Un modèle de base sait seulement prolonger du texte. Au lieu d'appeler un outil, il complète souvent le dialogue lui-même, jusqu'à inventer le résultat d'une commande.

Dans l'étude Before They Can Solve (22 auteurs, 7 octobre 2026), on ne demande donc pas au modèle de résoudre la tâche. On lui montre la trace de travail d'un agent performant (GPT-5.6-Sol, Claude Opus 5, Kimi-K3) et l'on ne teste que le moment décisif. La trace est rejouée pas à pas : après chaque modification, les tests du projet sont lancés, ce qui permet d'identifier la première modification après laquelle ils passent. Trois méthodes de vérification suivent :

• Le degré de « naturel » que le modèle accorde au bon geste. On mesure le BPB, c'est-à-dire le nombre de bits d'information nécessaires pour encoder un octet de la bonne réponse. Plus il est bas, mieux c'est.
• Le choix entre quatre variantes de l'étape suivante : une correcte et trois plausibles mais qui échouent aux tests. Les variantes changent de position pour neutraliser la préférence du modèle pour la lettre A.
• L'achèvement du travail d'un autre : le modèle reçoit la trace jusqu'à l'étape décisive et agit lui-même sur trois étapes au maximum, avec plusieurs tentatives.

La bonne réponse est toujours déterminée par les tests du projet lui-même, et non par un humain ni par un autre réseau de neurones.

Résultats et limites

Dix modèles de base ont été testés : trois Nemotron-3, Qwen-3.5-35B-A3B, DeepSeek-V4 Flash et Pro, Kimi-K2, GLM-4.5-Air, Hy3 et Gemma-4-26B. Le classement issu de ces vérifications a été comparé à celui des versions affinées sur SWE-bench Verified. Le BPB à l'étape décisive donne 0,964 (sur toutes les étapes de la trace, seulement 0,915). Avec des traces issues de SWE-bench Verified lui-même, l'achèvement du travail d'un autre atteint 0,988. Pour HumanEval, la corrélation est de −0,394 : les modèles aux meilleurs résultats se sont révélés, en moyenne, plus faibles comme agents.

L'une des raisons tient à l'écart réduit entre les modèles. Sur MBPP, les dix modèles se tiennent dans une fourchette de 67–86 %, alors que les agents finaux s'étalent de 38,8 à 80,6 %. Un tel test distingue mal un candidat fort d'un candidat faible. Pour donner l'échelle des coûts : DeepSeek a dépensé environ 147 000 GPU-heures sur H800 pour affiner R1, soit environ 294 tonnes de dollars selon sa propre estimation, et ce chiffre ne couvre que l'exécution réussie, sans les expérimentations.

L'audit de NVIDIA a également porté sur APTBench de Tencent : sur 1682 questions, 727 (43,2 %) se sont révélées incorrectes, et 90,5 % dans la section sur la gestion des erreurs. Les mauvaises réponses proposées y avaient été générées par des modèles de langage. Une réserve s'impose : l'audit a lui aussi été mené par un agent IA selon des critères prédéfinis, et le résultat global d'APTBench reste corrélé au classement à 0,88–0,90.

La méthode elle-même a des limites. Dans l'expérience contrôlée, seuls trois modèles ont été affinés et l'ordre a coïncidé avec le classement officiel, mais les auteurs y voient eux-mêmes le prolongement d'une tendance, pas une preuve. Sur des traces issues d'autres benchmarks, la concordance était plus faible. La méthode reste pour l'instant au stade de la recherche : il n'existe pas d'outil prêt à l'emploi.

La conclusion pratique pour les équipes qui choisissent la base d'un agent : ne vous appuyez pas sur HumanEval et MBPP, privilégiez des vérifications liées à de vraies modifications dans un dépôt, et faites déterminer la bonne réponse par les tests du projet. La logique est celle du recrutement : un entretien structuré sur le travail réel prédit mieux les résultats qu'un test général de culture.