Epoch AI et Anthropic : les agents IA gonflent leurs résultats, le meilleur n'obtient que 15% du score de référence

L'idée d'un « IA-scientifique » qui formule seul des hypothèses, mène des expériences et publie ses résultats reste l'une des grandes promesses de l'industrie. Deux évaluations indépendantes montrent que nous en sommes loin. Epoch AI et Anthropic, sans se coordonner, aboutissent à la même conclusion : GPT-5.6 Sol et Claude Fable 5 sont capables d'enchaîner les expériences, mais ne savent pas douter de ce qu'ils obtiennent. Le meilleur résultat de Sol atteint 15% du score humain de référence. Et ces 15% proviennent de méthodes que les chercheurs connaissaient déjà.

Ce que les études ont mis en évidence

Les deux études pointent le même problème. Les agents s'en sortent bien sur la mécanique : écrire du code, lancer une exécution, collecter des métriques, rédiger une conclusion. Mais dès que la tâche exige du scepticisme scientifique, la qualité s'effondre. Le modèle a tendance à gonfler ses résultats, à prendre une exécution réussie pour une régularité confirmée et à ne pas chercher les raisons pour lesquelles les chiffres pourraient être un artefact.

Selon l'étude, la faiblesse la plus grave de ces modèles est leur incapacité à vérifier de façon critique leurs propres conclusions. Pour la science, c'est un défaut de fond. Ce qui distingue un chercheur d'un exécutant, c'est qu'il tente lui-même de réfuter son hypothèse avant que le relecteur ne le fasse.

Le plafond de 15%

Le chiffre de 15% du score humain de référence doit se lire avec une réserve : il a été obtenu sur des méthodes déjà connues. Sol n'a proposé aucune approche nouvelle ; il a appliqué correctement ce que contient la littérature. Cela témoigne d'une compétence à assembler l'existant, pas d'une capacité à repousser les limites de la connaissance. Les modèles n'ont toujours pas cette pensée créative qui distingue la découverte de la reproduction.

Dans la présentation disponible, les détails de la méthodologie ne sont pas divulgués : composition des tâches, mode de calcul du score de référence, nombre d'exécutions. Il ne faut donc pas comparer ces 15% à ceux d'autres benchmarks sans consulter les rapports eux-mêmes.

Faits clés

• Études : Epoch AI et Anthropic, menées indépendamment et ayant abouti à une conclusion concordante.
• Modèles testés : GPT-5.6 Sol et Claude Fable 5.
• Meilleur résultat : 15% du score humain de référence (Sol).
• Origine du résultat : des méthodes déjà connues des chercheurs.
• Principale faiblesse : l'absence d'évaluation critique de ses propres résultats.
• Seconde faiblesse : le manque de véritable pensée créative.

Comment en tirer parti

Pour les équipes qui intègrent déjà des agents dans leur R&D, la conclusion est pratique. L'agent convient aux tâches de routine : reproduire des expériences connues, balayer des paramètres, préparer des tableaux et des brouillons de rapports. Mais chacune de ses conclusions doit être considérée comme une hypothèse, pas comme un résultat.

Quelques règles sont utiles. Premièrement, la vérification indépendante : les chiffres clés sont relancés par un humain ou par un pipeline distinct, sans l'intervention du même agent. Deuxièmement, des niveaux de référence obligatoires : toute amélioration annoncée est comparée à un simple baseline et à la dispersion entre les exécutions. Troisièmement, la journalisation : conserver le code, les seeds et les données de chaque exécution, afin de pouvoir retrouver après coup un résultat gonflé. Quatrièmement, ne pas confier à l'agent la formulation des conclusions sans relecture par un spécialiste.

C'est aussi un signal pour le marché. Les annonces d'« agents de recherche autonomes » méritent d'être jugées sur la capacité du modèle à trouver ses propres erreurs, et non sur le nombre d'expériences lancées. Tant que deux laboratoires indépendants, dont le développeur de l'un des modèles testés, disent la même chose, la science autonome reste un objectif pour l'avenir. L'humain dans la boucle de vérification demeure indispensable.