AdaPRA fait gagner 24,5 points à Qwen 80B dans les classements data science

Les agents de data science savent parcourir seuls tout le cycle du machine learning, mais ils restent largement distancés par les humains dans les classements. Une équipe composée d'Atharva Naik, Vivek Chari, Pol Llado, Daniel Fried, Carolyn Rosé, Benjamin Van Durme, Sam Thomson et Justin Svegliato propose AdaPRA, un système qui s'attaque précisément au processus de travail de l'agent. Avec cinq essais par tâche, il a fait gagner 24,5 points de percentile au modèle Qwen de 80B paramètres sur le benchmark DSPredict-Easy et 14,8 points sur DSPredict-Hard, tout en réduisant le nombre d'erreurs de processus. Le preprint est paru sur arXiv le 23 octobre 2026, et les auteurs ont publié le code pour permettre la reproduction des résultats.

Où les agents de data science perdent des points

Les auteurs partent d'un constat : le problème ne tient pas seulement à la qualité du code produit par le modèle. Les agents se trompent de façon systématique dans le déroulement même du travail. Les chercheurs distinguent quatre types de défaillances :

• une exploration des données insuffisante ;
• une validation incorrecte, qui rend l'évaluation de la qualité biaisée ;
• de simples bugs dans le code ;
• une utilisation inefficace du budget fixé : à chaque nouvel essai, l'agent relance la même analyse exploratoire des données et les mêmes modèles de base.

Le dernier point est particulièrement révélateur. Si l'agent dispose de cinq essais par tâche et en consacre chacun à répéter la même chose, le budget réel pour trouver une solution solide se réduit d'un facteur considérable.

Un harnais persistant et un agent-auditeur

AdaPRA se compose de deux parties. La première est un harnais persistant pour agent de code (persistent coding agent harness) : il accumule les connaissances d'un essai à l'autre sur une même tâche, de sorte que les résultats de l'exploration et des modèles de base n'ont pas à être recalculés de zéro.

La seconde est un process reward agent, un agent de récompense de processus. Les modèles de récompense de processus classiques évaluent les étapes du raisonnement. Ici, l'auditeur va plus loin : il analyse la trajectoire de l'agent et son espace de travail, exécute des vérifications et confronte le travail à des rubriques. Ces rubriques sont des critères de qualité du processus, et elles s'adaptent à chaque tâche. À l'issue de l'audit, l'agent reçoit des consignes sur les erreurs à corriger.

Un résultat distinct concerne les rubriques elles-mêmes. Les critères initialisés sur des tâches faciles se transfèrent à des tâches plus difficiles, et l'adaptation ultérieure des rubriques apporte un gain supplémentaire.

Les chiffres et la transférabilité

• Modèle de base : Qwen de 80B paramètres.
• DSPredict-Easy : +24,5 points de percentile au classement.
• DSPredict-Hard : +14,8 point de percentile.
• Conditions : cinq essais par tâche.
• Effet secondaire : moins d'erreurs de processus.
• Transfert entre modèles : les rubriques extraites des exécutions d'un modèle de base ont amélioré les résultats de DeepSeek-V3.2.
• Comparaison avec un concurrent : AdaPRA a surpassé DataPRM, un modèle de récompense de processus performant pour la data science.

Le gain sur le jeu facile est presque deux fois supérieur à celui sur le jeu difficile, ce qui constitue un signal honnête sur les limites de l'approche. La supervision corrige la discipline de travail : vérification, répétitions, validation. Mais elle ne remplace pas la capacité du modèle à imaginer une solution non triviale pour une tâche ardue.

Ce qu'il faut en retenir en pratique

Pour les équipes qui construisent des agents sur des modèles ouverts, l'enseignement principal est très concret. On peut améliorer le résultat sans réentraîner les poids : il suffit d'ajouter une couche d'audit avec des vérifications exécutables et une mémoire entre les essais. Les rubriques accumulées sur les exécutions d'un modèle fonctionnent avec un autre ; on peut donc les considérer comme un actif réutilisable, et non comme un réglage jetable propre à une combinaison précise.

Ceux qui font tourner des agents sur des tâches de type Kaggle gagneraient à vérifier si leurs propres pipelines répètent l'exploration des données et valident trop faiblement : d'après les auteurs, ce sont ces erreurs qui consomment le budget d'essais. Le code ouvert permet de comparer AdaPRA à sa propre solution sur les mêmes jeux DSPredict et de mesurer quelle part de l'écart avec les humains se referme grâce à la seule supervision du processus.