Agent4Sci : Claude Opus améliore de 10,4% les records sur 20 benchmarks scientifiques

Les agents de code de pointe sont de plus en plus présentés comme des chercheurs automatiques capables de mener un projet de bout en bout. Les auteurs d'Agent4Sci ont voulu le vérifier sur des tâches où la rigueur d'ingénierie ne suffit pas : il faut améliorer le meilleur modèle scientifique publié. Le banc d'essai couvre 20 benchmarks issus de 11 domaines scientifiques. Le résultat est contrasté. Les agents ont amélioré le record sur chaque benchmark, et Claude Opus obtient un gain relatif moyen de 10,4%. Mais presque tous ces gains viennent de techniques standard d'ingénierie ML, pas d'une intuition de recherche.

Un test sans classement

Agent4Sci ne construit volontairement aucun leaderboard. Les auteurs posent une autre question : quel progrès les agents peuvent-ils réaliser dans des conditions proches du travail réel (« in the wild »), et où atteignent-ils un plafond ? Ce sont des tâches longues, dans lesquelles l'agent décide seul de ce qu'il essaie, de la façon de répartir le calcul et du moment où il s'arrête. La référence de comparaison est constituée des meilleurs modèles publiés : la barre a donc été placée par des chercheurs humains, pas par une baseline faible.

Les auteurs précisent par ailleurs qu'aucune exécution n'a été signalée comme relevant de la malhonnêteté académique. Pour des benchmarks d'agents, c'est un point important : rien ici ne permet de soupçonner un ajustement au test ou des procédés déloyaux.

Un sac d'astuces d'ingénierie plutôt que des idées

Que les agents l'emportent partout paraît impressionnant, mais l'analyse des trajectoires déplace l'éclairage. Le gain s'explique presque entièrement par un ensemble de techniques connues de tout ingénieur ML. Les idées qui s'appuient sur la connaissance du domaine, qu'il s'agisse de physique, de biologie ou de science des matériaux, n'apparaissent presque pas dans les améliorations.

Les auteurs identifient trois limites récurrentes :

• Mauvais calibrage de la nouveauté. L'agent évalue mal ce qui est réellement nouveau et ce qui relève déjà de la pratique standard.
• Sous-utilisation des ressources. Le budget de calcul et de temps disponible n'est pas consommé en totalité.
• Enfermement rapide dans une recherche d'ingénierie locale. L'agent glisse vers une série de petits réglages au lieu de chercher des hypothèses de fond.

Des plugins qui doublent le gain

Le point le plus pratique de l'étude est une expérience avec des plugins de compétences légers. Il y en a trois : génération d'idées de recherche, gestion des expériences et checklists planifiées. Sans réentraîner les modèles ni modifier l'architecture, ces surcouches ont fait passer Claude Opus de 10,4% à 20,1%, et Codex de 4,4% à 8,1%. Au-delà de la hausse de la métrique, la nature des interventions a changé : elles sont devenues plus variées et plus proches des spécificités de chaque domaine.

En résumé, une part importante de l'écart entre ingénierie et recherche se comble non pas avec un nouveau modèle, mais avec un habillage qui oblige l'agent à planifier, à consigner ses expériences et à revenir à sa checklist. Les chiffres absolus restent toutefois modestes, et Codex, même avec ces compétences, reste derrière Claude Opus sans elles.

Ce qu'il faut en retenir

Les équipes qui conçoivent des agents pour des tâches scientifiques et de R&D disposent d'un repère concret : il faut mesurer non seulement la métrique finale, mais aussi le type d'améliorations trouvées. Si le gain vient d'une recherche d'hyperparamètres et de techniques standard, il a de la valeur, mais il ne constitue pas une découverte scientifique.

Un deuxième enseignement concerne l'architecture des systèmes d'agents. Des couches de gestion des expériences, des étapes obligatoires de génération d'hypothèses et des vérifications périodiques par checklist augmentent le rendement à faible coût, et s'appliquent aux modèles existants. Mieux vaut les tester avant d'attendre la prochaine génération de LLM.

Enfin, le banc d'essai lui-même est ouvert. Le code est disponible sur GitHub (maszhongming/agent4sci) et les données sont hébergées sur Hugging Face (MingZhong/agent4sci). Pour les laboratoires, c'est un moyen prêt à l'emploi de tester leur propre agent sur 20 tâches issues de 11 domaines, et de voir où il agit en ingénieur et où il commence à proposer des idées propres à un chercheur.