SciGame teste cinq agents LLM : les formules familières les empêchent de retrouver des lois modifiées

Des chercheurs présentent SciGame, un benchmark qui vérifie si les agents LLM savent découvrir des lois scientifiques, et non les retrouver dans leurs données d'entraînement. Les auteurs rangent chaque formule issue d'un article scientifique dans une « carte » structurée, puis construisent à partir d'elle deux environnements dotés de la même interface : un environnement original et un environnement contrefactuel. Dans le second, la dépendance est modifiée, mais les dimensions des grandeurs restent cohérentes. Si l'agent s'appuie sur ce qu'il a mémorisé, il se trompera dans le second environnement. Les expériences menées sur cinq modèles de pointe confirment que c'est bien ce qui se produit.

Ce qui manquait aux benchmarks précédents

Les auteurs identifient quatre problèmes dans les tests existants. Premièrement, ils changent souvent en même temps la tâche, le protocole d'observation et la métrique : les régimes ne sont alors pas comparables sur une même interface. Deuxièmement, de nombreuses métriques évaluent l'ajustement aux données, et non la prédiction sur des entrées jamais vues ; une explication plausible peut ainsi obtenir un score élevé alors que le prédicteur est faux. Troisièmement, la plupart des jeux de données sont statiques et ne contiennent presque aucune loi publiée après la date de coupure des connaissances du modèle. Quatrièmement, les tâches fondées sur des articles mélangent la découverte d'une loi avec la programmation et la reproduction d'expériences.

D'autres travaux couvrent une partie de ces aspects : DiscoveryWorld et Auto-Discovery-Bench étudient la révision d'hypothèses et le choix des expériences, LLM-SRBench la recherche d'équations, Gravity-Bench modifie le contexte physique, PaperBench vérifie la reproduction de recherches, et SciLaws-Bench construit des tâches à partir d'articles. Mais aucun ne compare une même tâche avec et sans candidats. Dans SciLaws-Bench, les configurations Real et Parallel utilisent des protocoles d'observation et d'évaluation différents, si bien que leurs précisions ne sont pas comparables.

Comment fonctionne la vérification

La carte fixe le lien entre les grandeurs, les paramètres, les définitions des variables, les unités de mesure, le domaine d'entrées admissible et les conditions d'applicabilité. Elle sert à générer des environnements dotés d'un simulateur déterministe. La version contrefactuelle est créée par mutations structurelles, sur le modèle de NewtonBench (un benchmark de lois physiques modifiées) : on change les coefficients et les exposants, on ajoute des transformations non linéaires et des dépendances croisées entre les entrées. Les auteurs ont vérifié que les formules de référence de chaque environnement échouent à l'évaluation sur les observations de l'environnement jumeau. Les deux environnements sont donc distinguables empiriquement.

Il existe deux types de tâches. Dans Identification, l'agent choisit une loi parmi des candidats : on lui fournit une formule qui combine l'expression originale et l'expression contrefactuelle à l'aide d'un paramètre inconnu. Le simulateur fixe toujours ce paramètre à zéro ou à un, mais l'agent n'en est pas informé. Dans Discovery, il n'y a pas de candidats : l'agent doit reconstruire le lien entre les entrées et les grandeurs observées à partir de la description, des contraintes et des observations. Dans les deux cas, l'agent rend des expressions exécutables, une explication et les conditions d'applicabilité. Chaque famille de tâches donne quatre tâches.

Chaque tâche se décline en trois protocoles :

• Prior-only : aucune observation, l'agent s'appuie sur des connaissances mémorisées ;
• Fixed : l'agent reçoit un ensemble d'observations défini à l'avance ;
• Adaptive : l'agent propose lui-même des expériences et décide quand rendre sa réponse.

Le benchmark comprend deux collections. Historical contient des lois canoniques de l'histoire des sciences, servant de références interprétables. Temporal est construite par un pipeline relançable : seuls y entrent les articles dont la date de publication en revue et la date du premier preprint sont postérieures à la date de coupure des connaissances du modèle évalué. Un premier LLM extrait les dépendances quantitatives, un second vérifie indépendamment l'exactitude et l'exhaustivité des cartes, et corrige ou supprime celles qui sont incomplètes. La fenêtre temporelle se décale avec l'arrivée de nouveaux modèles, afin de réduire le risque de mémorisation.

Ce que montrent les expériences

Il y a trois évaluations : la précision de prédiction sur des entrées masquées, la réussite hiérarchique de l'épisode et l'évaluation de l'explication selon une grille. Les auteurs tirent trois conclusions. Première conclusion : les formules familières aident sur les lois originales, mais nuisent lorsque la relation est modifiée. Deuxième : les expériences adaptatives profitent aux modèles les plus forts, mais pénalisent les plus faibles lorsque le budget est limité. Troisième : une bonne explication peut cacher un échec quantitatif, quand le texte est convaincant mais que le prédicteur se trompe.

Le principal goulot d'étranglement reste la restitution de la forme symbolique exacte, même quand l'agent interprète correctement les observations. Une dépendance fonctionnelle erronée constitue le principal type d'erreur. Les auteurs concluent que les agents actuels savent explorer activement des systèmes, mais que la déduction de lois exactes dans des conditions inconnues reste un problème ouvert.

Pour les développeurs d'agents scientifiques, l'enseignement est pratique. Il faut mesurer séparément la prédiction sur des entrées jamais vues, et ne pas considérer une explication bien construite comme un succès. Il est raisonnable de n'accorder un budget d'expériences adaptatif qu'aux modèles capables de le gérer. Le fragment d'article disponible ne contient aucun tableau de scores : il est donc impossible de comparer des modèles précis chiffres à l'appui. Les auteurs ont publié le code et les données.