Une vérification de Stanford juge obsolètes 44 % des conclusions sur les LLM

Vous disposez d'une batterie de tests pour LLM que votre équipe a constituée il y a un an. Elle évalue le contexte long, l'arithmétique, la résistance aux objections de l'utilisateur et les sources inventées. Les résultats semblent convaincants, si bien que le produit choisit son modèle à partir d'un ancien tableau. Le problème est que ce tableau ne décrit peut-être plus le marché, mais seulement l'une de ses strates archéologiques.

Les chercheurs de Stanford Owen Quinn et James Zou ont réévalué 50 conclusions largement citées sur les grands modèles de langage, à travers 20 modèles issus de huit développeurs. Selon leur analyse, 44 % de ces conclusions ont cessé de se reproduire et 34 % supplémentaires se sont nettement affaiblies. Seules 16 % sont restées entièrement valides, tandis que 6 % se sont manifestées plus fortement. Pour les 22 résultats dont la durée de vie a pu être estimée, la moyenne était de 15,7 mois.

Cela ne signifie pas que les études sont inutiles. Cela signifie que la phrase « les LLM se comportent ainsi » est presque toujours trop générale. Une formulation plus exacte serait : « ce modèle, dans cette version, à cette date et dans le cadre de ce test, a produit ce résultat ».

Les défaillances techniques bien définies disparaissent le plus vite

Les affirmations sur ce qu'un modèle ne sait pas faire vieillissent particulièrement vite. Dans l'étude, les neuf conclusions évaluées concernant le raisonnement se sont affaiblies, et les auteurs en ont jugé cinq obsolètes. Parmi les exemples figurent le comptage des lettres dans un mot, l'arithmétique dans un système de numération inhabituel, la perte d'informations au milieu d'un long contexte et l'abandon d'une réponse correcte après une objection de l'utilisateur.

La raison est assez concrète. Lorsqu'une tâche possède une réponse correcte sans ambiguïté, les développeurs identifient un défaut précis, ajoutent des exemples similaires aux données d'entraînement ou modifient la procédure de post-entraînement. La défaillance spectaculaire d'hier devient le test de régression de demain.

Imaginez qu'il y a un an, un modèle perdait l'énoncé du problème au milieu d'un document. En se fondant sur un article, l'équipe a décidé de découper chaque fichier en petits fragments et a bâti autour de cette contrainte un pipeline complexe. La nouvelle version sait désormais conserver avec assurance l'ensemble du document, mais l'architecture continue de payer le prix d'appels superflus, de latence et de liens perdus entre les fragments. Une ancienne conclusion s'est transformée en dette technique.

Les risques comportementaux persistent plus longtemps

Les tendances qui ne possèdent pas une unique réponse correcte se sont révélées plus durables. Parmi les effets qui subsistent figurent la préférence du modèle pour ses propres réponses, la sensibilité de l'évaluation à une formulation persuasive et la tendance à acquiescer à l'utilisateur. Ces propriétés sont plus difficiles à corriger à l'aide d'un simple ensemble d'exemples corrects : elles dépendent de l'entraînement, des critères d'évaluation et de la structure même du dialogue.

Les écarts entre les modèles restent également considérables. Lors d'un test portant sur les références scientifiques, un modèle moderne n'a inventé aucune source, un autre s'est trompé dans environ 1 % des cas et un troisième dans 69 %. Il est donc impossible de transposer le résultat du modèle leader à un modèle moins cher, à une alternative ouverte ou même à une version voisine de la même génération.

Il existe aussi une limite importante : les auteurs ont étudié 50 conclusions connues, et non l'ensemble des recherches publiées sur les LLM. La disparition d'un effet ne signifie pas non plus toujours que la capacité concernée a été entièrement corrigée. L'erreur peut subsister dans une autre langue, un autre domaine, avec un contexte plus long ou après une légère modification de la formulation.

Ce qu'il faut changer dans le développement produit

Chaque test doit être conservé avec l'identifiant exact du modèle, la date, le prompt, les paramètres de génération et le résultat attendu. Après un changement de version ou de fournisseur, la batterie critique doit être entièrement réexécutée. Cela concerne particulièrement les scénarios dans lesquels une erreur affecte l'argent, la sécurité, les droits des utilisateurs ou les décisions des employés.

Les équipes produit ont intérêt à répartir les évaluations en deux couches. La première regroupe les exigences métier stables : extraire correctement un montant, ne pas divulguer de données personnelles et citer un document réel. La seconde rassemble des tests diagnostiques temporaires reflétant les faiblesses connues d'un modèle précis. La première couche change rarement ; la seconde doit être réexaminée après chaque mise à jour importante.

La conclusion pratique est simple : un article consacré aux capacités des LLM possède une durée de validité limitée. Ne prenez pas un ancien benchmark pour une loi de la nature et ne construisez pas votre feuille de route autour d'une erreur célèbre sans la tester vous-même. Évaluez le modèle que vous comptez réellement déployer, avec vos propres données et dans votre propre scénario d'utilisation.