Ai2 démontre que les LLM-juges de nouveauté cèdent à quelques mots dans le prompt

Ai2 a publié l'étude Old Ideas, Novel Problems, accompagnée d'un benchmark, des données, du code et d'un pipeline automatique pour construire de nouveaux jeux d'évaluation. La conclusion est inconfortable pour tous ceux qui développent la science automatisée : les LLM-juges de nouveauté sont extrêmement instables. Un simple changement de formulation dans le prompt déplace la précision de GPT-5.4 de 52,6 points, de 93,5% à 40,9%. Les systèmes spécialisés coûteux font par ailleurs moins bien qu'un prompt simple adressé à Claude Opus 4.6.

Comment

Ai2 a construit son étalon à partir des relectures d'ICLR 2026

Les générateurs d'idées comme DataVoyager, AutoDiscovery, Theorizer et la plateforme Asta, de l'écosystème Ai2, produisent des hypothèses plus vite que les humains ne peuvent les lire. On confie souvent leur filtrage à un autre modèle, un « juge de nouveauté ». Il n'existe pas de recette unique pour ce juge : chaque équipe choisit elle-même le modèle, le prompt, le format de comparaison, le budget de raisonnement et, parfois, la recherche dans la littérature. Or les juges sont généralement validés sur des articles écrits par des humains, et non sur les idées d'IA qu'ils devront ensuite évaluer.

Pour obtenir des labels de référence, les auteurs n'ont pas considéré l'acceptation d'un article comme un signe de nouveauté. Ils ont extrait des relectures d'ICLR 2026 les passages où les relecteurs discutent explicitement de l'originalité. Cela a donné deux ensembles :

• 154 idées très novatrices : des articles acceptés, parmi les 10% meilleurs de leur domaine, dont la nouveauté a été saluée et n'a été contestée par personne ;
• 145 idées peu novatrices : des articles rejetés, parmi les 10% derniers, où les relecteurs doutaient de l'originalité et où personne n'a vu de nouveauté.

Contrôle de l'annotation : l'annotateur a validé la polarité du signal dans 47 cas sur 50, et aucun désaccord n'aurait modifié l'interprétation du relecteur. Le premier scénario, Human-Only, compare des idées humaines entre elles. Dans le second, Human+Generated, les mêmes 154 idées humaines sont appariées à 154 idées produites par un simple générateur LLM. Celui-ci recevait uniquement le domaine de recherche et la demande de proposer une idée nouvelle, sans recherche, sans outils et sans itérations. Les labels des idées générées sont faibles, mais un expert a examiné 30 paires : il a préféré l'idée humaine dans chacune d'elles et n'a jugé nouvelle aucune idée générée.

Une seule phrase dans le prompt : moins 52 points

Il y avait six juges : GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6. Les auteurs ont modifié un facteur à la fois : le prompt, le budget de raisonnement, l'accès à des articles connexes, le format des idées, le nombre de verdicts agrégés et le modèle générateur. Le prompt a eu l'influence la plus forte.

GPT-5.4 a reçu les paires Human+Generated avec deux prompts. Dans le premier, on lui indiquait que les relecteurs avaient jugé nouvelle exactement une idée de la paire, et on lui demandait de la désigner. Dans le second, on lui demandait simplement quelle idée était nouvelle. La précision est passée de 93,5% à 40,9%, et le verdict a changé dans plus de la moitié des paires. Sur Human-Only, le même changement n'a coûté qu'environ sept points, alors que Claude Opus 4.6 y a perdu 21 points. Un juge peut sembler stable sur des travaux humains et se comporter tout autrement sur des idées d'IA.

Il n'existe pas de prompt universel. Si l'on retire la consigne de ne pas considérer comme nouvelles les contributions triviales et incrémentales, la précision augmente chez certains juges et baisse chez d'autres. Lorsqu'on compare les idées de deux générateurs (Opus 4.5 contre Sonnet 4.5, GPT-5.4 contre GPT-5.1), entre un quart et un tiers des verdicts changent. Cette mesure ne suppose pas de savoir quel générateur est le plus performant.

Les systèmes coûteux battus par un prompt bon marché

Une autre observation inattendue concerne la recherche et le raisonnement. Un juge agentique basé sur GPT-5.6 Sol, avec un budget de raisonnement maximal et une recherche itérative sur arXiv, a obtenu 0,78 macro-F1. Claude Opus 4.6 avec cinq abstracts trouvés au préalable a atteint 0,89. L'agent coûtait en outre environ 10 fois plus cher par décision.

Les systèmes spécialisés n'ont pas fait mieux (tous sur Claude Opus 4.6, Human+Generated) :

• prompt simple avec Opus 4.6, faible niveau de raisonnement, vote majoritaire sur trois appels : 0,854 macro-F1, 2,59 $ pour l'ensemble de l'exécution ;
• Idea Novelty Checker (recherche dans la littérature avec reranking) : 0,642 macro-F1, 30,66 $ ;
• AI Scientist de Sakana AI (recherche itérative sur Semantic Scholar) : 0,772 macro-F1, 82,05 $.

La base simple s'est révélée de 12 à 32 fois moins chère et plus précise que les deux autres.

Que vérifier dans son propre pipeline d'évaluation

Si votre système classe ou écarte des idées, des hypothèses ou des tâches de recherche à l'aide d'un LLM, il ne faut pas se fier au verdict d'un seul prompt. Faites tourner le juge sur au moins deux ou trois formulations et calculez la part de verdicts qui changent : cet écart se mesure sans aucun label. Vérifiez-le sur des idées générées, et pas seulement sur des articles humains.

Ne choisissez pas par défaut une recherche agentique coûteuse : commencez par un prompt simple avec un vote sur trois appels, et ne payez 10 à 30 fois plus cher qu'ensuite, pour un gain mesurable. Le code et les données d'Ai2 sont ouverts, et le pipeline peut être réutilisé sur les relectures d'autres conférences et d'autres domaines.