AdaPRA fait gagner 24,5 points à un Qwen 80B sur des classements de type Kaggle

Les agents de data science savent parcourir seuls tout le cycle du machine learning, du chargement des données à la soumission des prédictions. Mais sur les classements où concourent des humains, ils restent nettement derrière les participants en chair et en os. Des chercheurs de Carnegie Mellon University (Atharva Naik, Vivek Chari, Pol Llado, Daniel Fried, Carolyn Rosé, Benjamin Van Durme, Sam Thomson et Justin Svegliato) proposent de corriger non pas le modèle, mais le processus. Avec cinq tentatives par tâche, leur système AdaPRA a fait gagner à un modèle Qwen 80B 24,5 points de centile sur DSPredict-Easy et 14,8 points sur DSPredict-Hard, tout en réduisant le nombre d'erreurs de processus.

Où les agents perdent des points

Les auteurs commencent par un diagnostic. Les mauvais résultats des agents ne s'expliquent pas seulement par un manque d'« intelligence ». Le plus souvent, ils se trompent dans le déroulement même du travail, et ces erreurs sont plutôt terre à terre :

• exploration insuffisante des données : l'agent se jette sur un modèle sans avoir compris ce que contient la table ;
• validation peu fiable : le schéma de vérification produit de beaux chiffres qui ne se retrouvent pas sur le jeu de test ;
• bugs dans le code qui dégradent le pipeline en silence ;
• mauvaise utilisation du budget fixe : à chaque tentative, l'agent refait la même EDA et réentraîne les mêmes modèles de base au lieu d'avancer.

Le dernier point est particulièrement révélateur. Quand un agent dispose de cinq tentatives sur une même tâche, il est logique que chacune s'appuie sur les précédentes. En pratique, il repart de zéro.

Un auditeur à checklist et une mémoire entre les tentatives

AdaPRA se compose de deux parties. La première est une couche d'exécution persistante (persistent harness) pour l'agent de code, qui accumule les connaissances d'une tentative à l'autre sur une même tâche. Ce qui a déjà été exploré, les modèles de base déjà entraînés et ce qui a fonctionné restent en mémoire et ne sont pas recalculés.

La seconde partie est un process reward agent, c'est-à-dire un agent auditeur. Les modèles de récompense de processus classiques évaluent les étapes de raisonnement a posteriori, à partir du texte. Ici, l'auditeur procède autrement : il examine la trajectoire et le répertoire de travail de l'agent en lançant des vérifications, et pas seulement en lisant les logs. Il peut regarder si la validation est réellement correcte, s'il n'y a pas de fuite de données et si ce que l'agent a déclaré a bien été fait.

L'auditeur évalue à l'aide de grilles, c'est-à-dire de checklists structurées de critères. Le mot clé est « adaptatives » : les grilles se reconfigurent pour chaque tâche et ne restent pas un modèle universel. Les auteurs relèvent deux effets. Les grilles initialisées sur des tâches faciles se généralisent aux tâches difficiles. Une adaptation supplémentaire à la tâche améliore encore le résultat.

Les chiffres et la transférabilité

Principaux résultats à cinq tentatives par tâche :

• Qwen (80B) : +24,5 points de centile sur DSPredict-Easy ;
• Qwen (80B) : +14,8 points sur DSPredict-Hard ;
• le nombre d'erreurs de processus diminue sur les deux jeux ;
• les grilles extraites des exécutions d'un modèle de base en améliorent un autre, DeepSeek-V3.2 ;
• AdaPRA surpasse DataPRM, un PRM performant pour la data science proposé auparavant.

Le transfert entre modèles est sans doute le détail le plus intéressant. Si des grilles construites à partir des erreurs de Qwen aident DeepSeek-V3.2, c'est qu'elles capturent les défaillances typiques de la tâche et de l'approche, et non les caprices d'un modèle donné. Le savoir-faire sur la validation et l'exploration peut ainsi s'accumuler comme un actif à part, non lié aux poids.

Le gain sur DSPredict-Hard est deux fois moindre que sur Easy, et c'est un repère honnête : avec des checklists, l'agent remonte vers le milieu du tableau bien plus facilement que vers le sommet sur les compétitions difficiles.

Le code est publié, et le projet dispose d'une page, atharva-naik.github.io/AdaPRA, de sorte que les résultats peuvent être reproduits.

Pour les équipes qui construisent des agents d'analytique et d'automatisation du ML, ce travail offre une recette claire. Avant de changer de modèle de base, mieux vaut examiner les trajectoires : si l'agent répète l'EDA à chaque tentative ou se vérifie sur une validation qui fuit, la sauvegarde de l'état entre les exécutions et un auditeur distinct qui exécute les vérifications aideront. Les grilles peuvent être constituées sur des tâches faciles et réutilisées sur différents modèles : il suffit d'investir une fois dans un tel jeu de critères, puis de l'appliquer en cas de changement de fournisseur.