AdaPRA : un agent superviseur fait grimper les performances de l'IA sur les tâches de data science de 24,5 percentiles

Les agents chargés du cycle complet d'une tâche de data science — du chargement des données jusqu'à l'envoi des prédictions sur Kaggle — perdent régulièrement des points, non pas par manque de connaissance des algorithmes, mais à cause d'erreurs de processus : ils s'arrêtent au premier modèle fonctionnel au lieu d'essayer quelque chose de plus performant, confondent échantillons d'entraînement et de validation, ou laissent des fuites de données s'infiltrer dans la validation croisée. Pire encore, beaucoup de ces erreurs ne laissent aucune trace dans le journal d'exécution — le pipeline s'exécute formellement et produit un fichier de réponses, mais le caractère absurde de ces réponses n'apparaît qu'à la vérification manuelle. Les auteurs de Carnegie Mellon University donnent un exemple caractéristique : un agent devait reconnaître des commandes vocales parmi 12 classes, mais à cause d'un chemin de fichier erroné, les 158 538 enregistrements audio de test ont tous été chargés comme du silence — le modèle les a donc tous classés comme « commande inconnue », alors que le journal laissait croire que tout s'était déroulé normalement.

Comment fonctionne l'agent vérificateur

Le dispositif s'appelle AdaPRA (Process Reward Agent à rubriques adaptatives). Ce n'est ni une checklist statique ni un simple juge LLM qui se contente de lire un compte-rendu textuel du travail de l'agent. AdaPRA est lui-même un agent disposant d'un accès au terminal : il ouvre le dossier de travail de l'agent principal, exécute son propre code pour recalculer les métriques (par exemple, recalculer la qualité de la validation croisée à partir des prédictions mises de côté), et ce n'est qu'ensuite qu'il rend son verdict pour chaque point de la rubrique.

Cette étape est nécessaire car on ne peut pas se fier aveuglément aux comptes-rendus que l'agent fait de son propre travail — celui-ci peut sincèrement se tromper sur ce qu'il a réellement fait.

La vérification n'est pas continue mais intervient à intervalles fixes — toutes les quelques étapes de l'agent, plus une vérification finale avant la remise du résultat. Pour éviter de surcharger l'agent d'informations superflues, le rapport ne retient que les points de la rubrique réellement pertinents pour la tâche en cours et que le vérificateur estime probablement non respectés — avec une probabilité de violation supérieure à 40 % et une importance d'au moins la moitié du maximum.

D'où viennent les règles et pourquoi elles se transfèrent entre les tâches

Les auteurs n'ont pas rédigé les rubriques à la main — cela aurait été irréaliste pour des centaines de types de tâches. Ils ont plutôt fait tourner l'agent de base de nombreuses fois sur 38 tâches de niveau « facile » (l'ensemble DSPredict-Easy, composé pour l'essentiel de compétitions tabulaires Kaggle Playground Series), puis comparé les meilleures tentatives aux moins bonnes selon le classement final. Un juge LLM (Claude Sonnet 4.

6) a extrait, à partir de 906 observations — bonnes pratiques et échecs confondus —, 342 schémas « positifs » et 564 problèmes, qu'il a ensuite regroupés en 17 règles précises plus 2 règles générales sur l'exploitation des tentatives passées, soit 19 rubriques de base en tout. Détail important : presque tous les problèmes identifiés ne sont visibles que dans le code et les journaux d'exécution eux-mêmes (344 sur 564), tandis que les bonnes solutions apparaissent dans les artefacts du dossier de travail (235 sur 342). En d'autres termes, se limiter au dialogue avec l'agent ou aux seuls fichiers ferait perdre la majeure partie du signal.

Ces 19 rubriques, transférées sans aucune modification vers DSPredict-Hard — un ensemble de 54 tâches bien plus complexes (vision, texte, audio, données moléculaires) —, ont fonctionné. AdaPRA sait également compléter les règles à la volée : sur la tâche House Prices, par exemple, le vérificateur a lui-même ajouté une règle baptisée « variance insuffisante des prédictions » — une vérification visant à détecter si le modèle ramène toutes les prédictions de prix vers la moyenne au lieu de produire une dispersion réaliste.

Résultats et limites

Avec cinq tentatives par tâche, AdaPRA couplé au modèle de base Qwen3-Coder-Next (80 milliards de paramètres) a fait grimper le percentile moyen sur le classement Kaggle de 24,5 points sur les tâches faciles et de 14,8 points sur les tâches difficiles — des résultats comparables, voire supérieurs, à ceux de GPT-5.1 en mode de raisonnement renforcé. Le système a également surpassé DataPRM, un modèle vérificateur concurrent de 4 milliards de paramètres qui note les étapes de l'agent sur une échelle de 0 à 1 sans recourir à des rubriques flexibles. Une expérience distincte a montré que des rubriques élaborées sur un modèle fonctionnent aussi lorsqu'elles sont transférées vers un autre — DeepSeek-V3.2.

Pour les équipes d'ingénierie qui construisent des agents autonomes d'analyse de données, la conclusion pratique est claire : une vérification basée uniquement sur le journal du dialogue ne détecte qu'une fraction des erreurs — il faut un superviseur disposant du droit d'exécuter lui-même le code et d'examiner les fichiers du dossier de travail. Second enseignement : conserver le contexte entre les tentatives (plutôt que de repartir à chaque fois de zéro) apporte déjà, à lui seul, un gain notable, avant même l'ajout d'un quelconque contrôle qualité externe.