PhAI Labs : Claude Opus 5 dernier du test d'hypothèses scientifiques — 2,3%

PhAI Labs a publié une comparaison des modèles sur leur capacité à proposer des hypothèses scientifiques. La première réaction des médias chinois tient en un mot : la surprise. Claude Opus 5, avec 2,3%, se retrouve à la dernière place parmi les cinq groupes. Le groupe GPT obtient 2,5%. L'écart est de deux dixièmes de point de pourcentage, et le tableau complet, à en juger par l'extrait disponible, comprend encore plusieurs modèles, dont GLM.

Comment fonctionne l'évaluation

La méthodologie sort de l'ordinaire : elle ne repose ni sur des experts évaluateurs ni sur un benchmark dont les réponses seraient connues à l'avance. Les modèles proposent des hypothèses de recherche, qui sont ensuite confrontées à la littérature scientifique publiée plus tard. Si l'idée d'un modèle correspond à une direction qui s'est effectivement développée dans les articles, elle est comptée comme une piste utile pour les recherches futures. Le pourcentage du rapport reflète, selon toute apparence, la proportion de ces correspondances.

Cette approche a un avantage évident : on ne peut pas ajuster le futur à la réponse. Elle a aussi des points faibles. Le recoupement avec les publications ultérieures reflète ce qu'a étudié la communauté scientifique, pas nécessairement ce qui aurait eu de la valeur. Une hypothèse audacieuse que personne n'a songé à tester obtiendra zéro.

Ce que l'on sait des résultats

• Claude Opus 5 : 2,3%, dernière place sur cinq groupes.
• GPT : 2,5%.
• GLM et les autres participants : les valeurs sont tronquées dans l'extrait disponible du document.
• Critère : recoupement des hypothèses avec la littérature parue après leur génération.
• Volet associé : DiscoveryRSI, projet de PhAI Labs sur l'auto-évolution des agents de recherche.

Le point essentiel à garder en tête : toutes les valeurs se situent dans une fourchette de quelques pour cent. Lorsque le premier et le dernier sont séparés par des fractions de point de pourcentage, et en l'absence d'intervalles de confiance, du nombre d'exécutions et de la taille de l'échantillon, il est difficile d'affirmer que l'ordre des modèles est stable. Un écart de 0,2 pp peut très bien n'être que du bruit. Les titres sur le « fond » du classement sonnent plus fort que les données elles-mêmes.

DiscoveryRSI et l'auto-évolution des agents

Dans l'annonce de la diffusion, la comparaison des modèles est reliée à DiscoveryRSI. Le sigle évoque l'auto-amélioration récursive (recursive self-improvement) appliquée à la découverte scientifique : l'agent ne se contente pas d'émettre des hypothèses, il améliore aussi sa propre manière d'en émettre. Le texte disponible ne donne aucun détail sur l'architecture ; il est donc trop tôt pour juger de la façon dont la boucle est réellement mise en œuvre. La logique, en revanche, est claire. Si le système dispose d'un signal de qualité mesurable, par exemple la proportion d'hypothèses confirmées par la littérature ultérieure, il peut s'en servir pour sélectionner et affiner les stratégies des agents.

C'est précisément là que le test de PhAI Labs devient plus intéressant que son tableau. Une métrique qui joue le rôle de juge externe sert non seulement à comparer des modèles, mais aussi de fonction de récompense pour l'entraînement des agents.

Comment lire ce type de classement

Pour les équipes qui construisent des agents scientifiques ou de recherche, la conclusion est pragmatique. Un seul benchmark d'hypothèses ne remplace pas une vérification dans son propre domaine : la biologie, la science des matériaux et les mathématiques produisent des distributions différentes d'idées « réussies ». Le résultat d'une version précise d'un modèle, avec un prompt précis et un harnais d'agent précis, ne se transpose pas à toute la famille.

Avant de changer de fournisseur à cause de ces chiffres, mieux vaut attendre le rapport complet et vérifier trois points : combien d'hypothèses ont été générées par modèle, comment la « correspondance » avec la littérature a été définie, et si les résultats se reproduisent lors d'exécutions répétées. D'ici là, il est plus raisonnable de lire 2,3% contre 2,5% comme le signe que la tâche reste mal résolue par tous les participants, et non comme un verdict sur un modèle en particulier.