Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
SortieArticle R&D · Pour R&DAi2 (Allen Institute)→ original

Ai2 : quelques mots dans le prompt font chuter la précision de GPT-5.4 à évaluer des idées nouvelles de 93,5 % à 40,9 %

Quand un réseau de neurones juge la nouveauté des idées d'un autre, le résultat dépend de la formulation de la question. L'institut Ai2 a soumis à GPT-5.4 des paires « idée humaine – idée d'IA » : avec l'indication qu'une seule idée est nouvelle, le modèle a deviné juste dans 93,5 % des cas, mais avec une question simple, seulement dans 40,9 %, soit moins qu'à pile ou face. Avant d'utiliser un juge IA, testez donc votre évaluation sur plusieurs variantes de prompt.

Traité par IA depuis Ai2 (Allen Institute) ; édité par Hamidun News
Ai2 : quelques mots dans le prompt font chuter la précision de GPT-5.4 à évaluer des idées nouvelles de 93,5 % à 40,9 %
Source : Ai2 (Allen Institute). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAi2 (Allen Institute) ↗
Rédacteur en chef
Chiffre clé #1Le prompt simple de Claude Opus 4.6 a coûté 2,59 $, contre 82,05 $ pour AI Scientist de Sakana
Chiffre clé #2L'agent avec recherche sur arXiv a perdu 11 points et coûté dix fois plus cher
Chiffre clé #3Le benchmark est constitué de critiques de l'ICLR 2026 : 154 idées fortes et 145 faibles

Imaginez un système où un réseau de neurones formule des hypothèses scientifiques, tandis qu'un autre détermine lesquelles sont réellement nouvelles et lesquelles ne font que reformuler l'existant. Ce second modèle est appelé « LLM juge de la nouveauté ». L'institut Ai2 (Allen Institute for AI) a vérifié s'il était possible de lui faire confiance, et le résultat est inquiétant.

On a demandé à GPT-5.4 de choisir la idée la plus nouvelle dans une paire « idée humaine et idée d'IA ». Lorsque le prompt indiquait qu'exactement une des deux idées avait été reconnue comme nouvelle, le modèle devinait juste dans 93,5 % des cas.

Lorsqu'on lui demandait simplement quelle idée était nouvelle, la précision tombait à 40,9 %, c'est-à-dire en dessous du hasard. Seuls quelques mots de la requête changeaient, les idées restaient les mêmes.

Cela concerne tous ceux qui utilisent un LLM comme filtre ou pour classer : sélection d'idées pour des agents chercheurs, comparaison de générateurs d'hypothèses, évaluation de brouillons de produits. Si le verdict dépend de la formulation du prompt, les chiffres de votre tableau de bord peuvent refléter non la qualité des idées, mais la réussite d'une requête.

Comment les juges ont été testés

La principale difficulté tient à l'absence de référence pour la nouveauté. Les chercheurs ont pris les critiques de la conférence ICLR 2026 et y ont cherché non pas le fait qu'un article a été accepté, mais les passages où les relecteurs discutent explicitement de l'originalité. Un article peut être accepté pour la solidité de ses expériences alors que son idée est secondaire, et inversement.

Ainsi, deux jeux de données ont été constitués. Le premier comprend 154 idées issues des 10 % supérieurs des articles acceptés, où les relecteurs saluaient la nouveauté et où personne ne la contestait. Le second comprend 145 idées issues des 10 % inférieurs des articles rejetés, où les relecteurs doutaient de l'originalité et où aucun éloge n'apparaissait. Un annotateur a validé l'évaluation extraite dans 47 cas sur 50 vérifiés.

Pour le second scénario, les mêmes 154 idées humaines fortes ont été associées à 154 idées produites par un générateur simple. Celui-ci recevait seulement le domaine de recherche et la consigne de proposer une idée nouvelle, sans recherche bibliographique ni itérations. Ces étiquettes sont faibles : les idées générées étaient considérées comme moins nouvelles par défaut. Un expert a examiné 30 paires, a préféré dans tous les cas l'idée humaine et n'a jamais jugé nouvelle une idée générée.

Six modèles ont joué le rôle de juges : GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6. Ils attribuaient une note à chaque idée et choisissaient la plus nouvelle de la paire.

Quelques mots dans le prompt font tout

Le résultat变化 le plus fortement selon la formulation de la requête. Pour GPT-5.4, la première version du prompt indiquait que les relecteurs avaient jugé nouvelle exactement une idée sur les deux. Dans la seconde, le modèle était simplement interrogé sur l'idée nouvelle. La précision est passée de 93,5 % à 40,9 %, et le verdict a changé dans plus de la moitié des paires.

Sur les paires d'idées humaines, le même procédé n'a modifié la précision que de sept points. Un juge peut donc sembler stable sur des travaux humains et se comporter de façon imprévisible sur des idées produites par l'IA, c'est-à-dire précisément celles pour lesquelles on le déploie. Pour Claude Opus 4.6, l'écart sur les paires humaines a néanmoins atteint 21 points.

Il n'existe pas de meilleur prompt universel. Si l'on retire l'avertissement « ne considère pas les améliorations triviales comme nouvelles », la précision augmente pour certains modèles et baisse pour d'autres. Un prompt efficace ne se transfère pas d'un modèle à l'autre. Lorsqu'on compare les idées de deux générateurs, par exemple Opus 4.5 contre Sonnet 4.5, entre un quart et un tiers des verdicts changent selon le prompt. Cette conclusion ne nécessite pas de savoir lequel des générateurs est le meilleur.

Cher ne veut pas dire précis

Un autre résultat intéresse ceux qui construisent des agents. GPT-5.6 Sol, avec un budget de raisonnement maximal et une recherche en direct sur arXiv, a obtenu 78 points sur 100 selon la métrique macro-F1, qui mesure la capacité du juge à repérer à la fois les idées nouvelles et les autres : plus le score est élevé, mieux c'est. Claude Opus 4.6, avec cinq annotations trouvées à l'avance, a obtenu 89 points. La variante agentique coûtait environ dix fois plus cher par décision.

Les systèmes spécialisés ont également été battus. Le prompt simple de Claude Opus 4.6, avec un faible budget de raisonnement et un vote sur trois exécutions, a donné 85,4 points pour un coût total de 2,59 $. Idea Novelty Checker, un pipeline avec recherche et reclassement par la littérature, a obtenu 64,2 points pour 30,66 $. AI Scientist de Sakana AI, qui recherche itérativement dans Semantic Scholar, a obtenu 77,2 points pour 82,05 $. Ces deux systèmes fonctionnaient avec Opus 4.6.

Que faire

Premièrement : toute évaluation automatique de la nouveauté, qu'il s'agisse de sélection d'idées, de classement de générateurs ou de filtre dans un système agentique, doit être testée pour sa stabilité. Essayez plusieurs formulations de prompt et comptez combien de verdicts changent. Deuxièmement : ne payez pas un pipeline complexe avant de l'avoir comparé à un prompt simple avec vote. Troisièmement : testez le juge sur les données qu'il évaluera réellement, c'est-à-dire sur des textes produits par l'IA, et non sur des articles publiés.

Il existe aussi des limites. Les étiquettes des idées générées sont faibles, le générateur était volontairement simple, et la base du benchmark repose sur les critiques d'une seule conférence de ML. Les auteurs eux-mêmes qualifient l'évaluation de la nouveauté de problème ouvert. Ai2 a publié le benchmark, les données, le code et le pipeline permettant de créer de nouveaux jeux d'évaluation, qui peuvent être appliqués à d'autres critiques et à d'autres communautés scientifiques.

Dossier

Questions clés sur cet article

Comment les juges ont été testés?

La principale difficulté tient à l'absence de référence pour la nouveauté. Les chercheurs ont pris les critiques de la conférence ICLR 2026 et y ont cherché non pas le fait qu'un article a été accepté, mais les passages où les relecteurs discutent explicitement de l'originalité. Un article peut être accepté pour la solidité de ses expériences alors que son idée est secondaire, et inversement. Ainsi, deux jeux de données ont été constitués.

Que sait-on sur Quelques mots dans le prompt font tout ?

Le résultat变化 le plus fortement selon la formulation de la requête. Pour GPT-5.4, la première version du prompt indiquait que les relecteurs avaient jugé nouvelle exactement une idée sur les deux. Dans la seconde, le modèle était simplement interrogé sur l'idée nouvelle. La précision est passée de 93,5 % à 40,9 %, et le verdict a changé dans plus de la moitié des paires. Sur les paires d'idées humaines, le même procédé n'a modifié la précision que de sept points.

Que sait-on sur Cher ne veut pas dire précis ?

Un autre résultat intéresse ceux qui construisent des agents. GPT-5.6 Sol, avec un budget de raisonnement maximal et une recherche en direct sur arXiv, a obtenu 78 points sur 100 selon la métrique macro-F1, qui mesure la capacité du juge à repérer à la fois les idées nouvelles et les autres : plus le score est élevé, mieux c'est. Claude Opus 4.6, avec cinq annotations trouvées à l'avance, a obtenu 89 points. La variante agentique coûtait environ dix fois plus cher par décision.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…