Benchmark SciΠvot : le meilleur LLM choisit le bon plan dans 63,5% des cas, contre 73,4% pour les humains

Les agents fondés sur des LLM peuvent mener des expériences scientifiques pendant des mois avec très peu d'intervention humaine, mais le jugement leur fait défaut aux points de bifurcation. Les auteurs du benchmark SciΠvot ont réuni 248 cas où des chercheurs seniors ont corrigé des agents, puis vérifié si un modèle choisirait la correction humaine. Le meilleur résultat parmi les modèles testés, en mode avec contexte du projet, est de 63,5%. Les chercheurs au regard neuf, qui disposaient du même matériel, atteignent 73,4%. Sur les cas sélectionnés, quatre des cinq modèles frontier tombent sous le niveau du pur hasard.

Comment le test est construit

Les données proviennent d'un travail réel. Pendant six mois, des chercheurs seniors ont lancé des agents LLM sur 26 projets dans six domaines scientifiques, et sont intervenus régulièrement lorsque l'agent prenait une mauvaise décision de recherche. Chaque intervention est devenue un cas. Le modèle a deux options : le plan initial du LLM et une alternative corrigée par l'humain. Le seul contexte fourni est le journal du projet tel qu'il existait avant la correction, si bien que le modèle ne peut pas en deviner les conséquences.

Cette construction lève la principale difficulté de l'évaluation du jugement scientifique. Les décisions de recherche sont ouvertes et dépendent de l'historique du projet : il n'existe donc pas de réponse de référence unique. Ici, la référence est le choix de l'humain dans une situation précise, celle où l'agent s'est déjà trompé.

• Taille : 248 cas issus de 26 projets, 6 domaines scientifiques
• Format : choix entre le plan du LLM et la version corrigée par l'humain
• Meilleure précision des modèles avec le journal du projet : 63,5%
• Précision des chercheurs au regard neuf : 73,4%
• Modèles frontier sous le niveau du hasard sur les cas sélectionnés : 4 sur 5
• Facteurs testés : effort de raisonnement, accès au journal du projet, seconde réflexion

Ce que montrent les résultats

Avec un niveau de raisonnement moyen et l'accès au journal du projet, les modèles préfèrent systématiquement le plan initial du LLM. Les auteurs parlent d'un biais : une variante proche de leur propre manière de raisonner leur paraît plus pertinente. La description ne contient pas de données directes sur la cause, mais ce constat est cohérent avec la tendance connue des modèles de langage à approuver un texte proche de celui qu'ils auraient eux-mêmes écrit.

Le deuxième résultat inattendu concerne le contexte. Le journal du projet devrait aider : on y trouve les objectifs, les expériences passées et les contraintes. En pratique, avec un effort de raisonnement moyen, chaque modèle est plus précis sans le journal qu'avec lui. Un long historique de projet ne se traduit pas par une meilleure décision et renforce peut-être la logique qui a conduit l'agent à l'erreur.

Une seconde réflexion n'est pas non plus une solution. La reconsidération n'apporte pas de gain stable de précision globale. Le modèle peine même dans une situation favorable : la bonne alternative est sur la table, et pourtant le choix reste faible. L'écart avec les humains est d'environ dix points de pourcentage, sachant que les humains du test étaient des chercheurs au regard neuf, et non les auteurs des corrections.

Que faire pour les équipes qui construisent des agents

Premier enseignement : on ne peut pas évaluer l'autonomie sur la longue durée uniquement à partir du fait que l'agent a mené l'expérience à son terme. Des mois de fonctionnement sans interruption ne disent rien de la qualité des choix aux bifurcations. Il faut placer des points de contrôle avec intervention humaine précisément là où l'agent change d'hypothèse, de conception d'expérience ou de critère de succès.

Deuxième enseignement : l'autovérification par l'agent ne peut pas être considérée comme indépendante. Si le modèle préfère ses propres plans, le schéma « l'agent propose, le même agent critique » laissera passer une partie des erreurs. Il faut un relecteur externe : un humain, ou un modèle avec une formulation de tâche différente.

Troisième enseignement, d'ordre pratique. Toute équipe qui lance des agents de recherche accumule un journal de corrections, et ce journal peut déjà servir de benchmark interne selon le schéma SciΠvot. Les paires « plan de l'agent — correction humaine » offrent un test honnête sur vos propres données, avant d'étendre l'autonomie. Il vaut mieux tester séparément le contexte supplémentaire et un raisonnement plus poussé que les adopter sur parole : d'après ces données, ils ne garantissent pas d'amélioration.