Claude Opus 5 a construit des baselines simples qui comblent 95,5% de l'écart avec les modèles DL de Nature et Science

Une équipe de la Carnegie Mellon University propose de vérifier les articles retentissants sur le deep learning grâce à un modèle de langage qui construit automatiquement des baselines simples. Dans l'expérience, Claude Opus 5 a reçu 36 tâches issues de travaux publiés dans Nature, Science et les revues de la famille Cell, et a écrit pour chacune un script avec un modèle simple. Le résultat médian est étonnamment élevé : les baselines ont comblé 95,5% de l'écart entre un prédicteur trivial et le réseau de neurones publié, et la moyenne sur l'ensemble des tâches atteint 85,7%. Sur 12 tâches sur 36, le modèle simple a égalé le deep learning ou l'a surpassé.

Comment la force d'une baseline a été mesurée

Les auteurs ont introduit une métrique, la Simple Baseline Strength (SBS). C'est une fraction sans dimension, qui part du résultat d'un prédicteur trivial (une constante, comme la valeur moyenne de la cible ou la classe la plus fréquente) et va jusqu'au résultat du modèle DL publié. Une SBS de 0 signifie que la baseline ne fait pas mieux que le prédicteur trivial. Une valeur de 1 signifie qu'elle a égalé le réseau de neurones, et une valeur supérieure à 1 qu'elle l'a dépassé. Cette normalisation permet de comparer des tâches qui reposent sur des métriques différentes. Pour les métriques où une valeur plus faible est meilleure, la formule fonctionne de la même manière.

Les tâches ont été sélectionnées parmi des articles en accès ouvert publiés entre le 31 janvier 2024 et le 18 septembre 2026. La condition était que les données soient publiques : l'échantillon ne reflète donc que les études ayant ouvert leurs jeux de données. Huit domaines scientifiques sont couverts, avec au moins trois tâches par domaine et au moins trois tâches pour chaque revue de la famille Nature. Les résultats des baselines n'ont pas été utilisés pour choisir les tâches.

Chaque tentative s'exécutait dans un conteneur sans réseau, à l'exception de l'accès à l'API du fournisseur du modèle. Les étiquettes de test et les fichiers de résultats étaient stockés à l'extérieur. L'agent écrivait et lançait un seul script, avec une limite de 30 minutes, uniquement sur CPU et sans poids pré-entraînés : des checkpoints entraînés sur des données ouvertes pourraient avoir vu l'échantillon de test. Le prompt demandait une « baseline raisonnable » et non nécessairement la plus simple possible, de sorte que les réseaux de neurones étaient autorisés. Au final, sur 157 scripts évaluables, 47 utilisaient PyTorch et 85 du boosting de gradient sur arbres.

Là où les modèles simples ont échoué

Chaque tâche a été répétée cinq fois. Sur 180 tentatives, 157 ont produit des prédictions valides ; 16 tâches ont connu au moins une tentative ratée, et trois d'entre elles n'ont conservé que deux exécutions évaluables au plus. Si l'on compte les échecs comme des zéros, la moyenne tombe à 79,6%, tandis que la médiane reste à 95,5%.

Six tâches affichent une SBS médiane inférieure à 0,5. Toutes les six comptent au moins une tentative ratée. Dans les six cas, l'agent n'a pas reçu de variables tabulaires, mais des séquences brutes, des descriptions de structures sous forme de chaînes ou des coordonnées atomiques. Le type d'entrée seul n'explique pourtant pas l'échec : plusieurs tâches avec des données similaires se situent autour de 1 ou au-dessus. Pour deux des six tâches, la médiane ne repose que sur deux répétitions évaluables. Par ailleurs, l'évaluation de validation de l'agent ne corrèle que grossièrement avec le test, et les répétitions d'une même tâche donnent généralement des résultats proches.

Les auteurs ont aussi comparé des configurations à budget de calcul différent sur un jeu distinct de neuf tâches. Une partie de ces exécutions a tourné sur des versions antérieures de l'environnement, où la documentation des tâches était masquée : la comparaison directe appelle donc à la prudence. Ils analysent également l'effet du niveau de contexte de recherche, mais le texte accessible ne donne aucun chiffre à ce sujet. Les auteurs n'ont pas testé les différences entre revues et entre domaines et ne tirent aucune conclusion de leur classement : les groupes sont trop petits, de trois à six tâches par domaine.

Pourquoi cela intéresse les relecteurs

La motivation est que la relecture par les pairs n'arrive pas à suivre le flux d'articles. Springer Nature a annoncé 3,1 millions de travaux soumis en 2025, soit 30% de plus que l'année précédente. Le nombre de soumissions à ICLR est passé de 11 603 à 19 525, et celui de NeurIPS de 9 467 en 2020 à 21 575 en 2025. Sur arXiv, le nombre d'articles a progressé de 36,4% entre 2023 et 2025, de 208 493 à 284 486.

Des baselines omises ont déjà faussé le tableau : pour prédire la réponse des cellules à des perturbations, cinq modèles de fondation n'ont pas surpassé des méthodes simples ; en prévision de séries temporelles à long terme, des modèles linéaires à une seule couche ont devancé le Transformer sur neuf jeux de données ; et sur 45 jeux de données tabulaires, les arbres sont restés plus performants que les réseaux de neurones.

Enseignement pratique pour les auteurs et les relecteurs : une baseline automatique peut servir de vérification peu coûteuse du gain de qualité revendiqué. Cela ne prouve pas qu'une méthode DL soit inutile : elle peut apporter un gain en interprétabilité ou sur d'autres données. Mais si un modèle simple sur CPU récupère presque tout l'écart en 30 minutes, les auteurs devraient expliquer ce qui justifie précisément une architecture complexe.