Les réseaux de neurones savent-ils vraiment raisonner ? Une étude des erreurs structurelles dans la logique des LLM

Les réseaux de neurones savent-ils vraiment raisonner ? Une étude des erreurs structurelles dans la logique des LLM

Quand GPT-4 résout un problème de mathématiques ou que Claude analyse un document juridique complexe, un observateur extérieur se pose naturellement la question : s'agit-il d'une vraie réflexion ou d'une illusion habile ? Une nouvelle étude systématique des capacités cognitives des grands modèles de langage apporte une réponse inconfortable : probablement la seconde option. Les chercheurs ont documenté ce qu'ils appellent des « défaillances structurelles » : des erreurs de logique prévisibles et reproductibles, qui révèlent une différence fondamentale entre imiter le raisonnement et raisonner réellement.

Ces deux dernières années, les modèles de langage ont obtenu des résultats impressionnants sur les benchmarks académiques, ce qui a nourri un large optimisme quant à leurs capacités intellectuelles. Les entreprises ont commencé à déployer des LLM en médecine, en droit et en analyse financière, des domaines où le coût d'une erreur se mesure non seulement en réputation, mais aussi en vies humaines. C'est cet écart entre les déclarations publiques sur des systèmes « intelligents » et leurs capacités réelles qui a poussé les chercheurs à mener une étude méthodique et systématique de la manière dont les modèles traitent les tâches exigeant une inférence logique séquentielle.

L'essentiel de la découverte tient en ceci : les LLM ne construisent pas de chaînes de raisonnement, ils cherchent des suites de texte statistiquement plausibles. La nuance paraît ténue, mais elle est cruciale en pratique. Face à une tâche proche de celles de ses données d'entraînement, le modèle livre une réponse convaincante. Mais il suffit de modifier légèrement les conditions, en reformulant la question, en ajoutant une étape intermédiaire ou en exigeant un raisonnement en sens inverse, pour que le système se mette à se tromper de façon systématique, et non aléatoire. Les chercheurs ont qualifié ces échecs de « structurels », car ils ne découlent pas d'un manque de données, mais de limites architecturales de l'approche elle-même.

Les expériences sur les tâches à plusieurs étapes sont particulièrement parlantes. Les modèles présentent une sorte de « dégradation de la profondeur » : plus la chaîne de raisonnement requise est longue, plus la probabilité d'erreur à l'un des maillons intermédiaires augmente. Par ailleurs, le modèle a rarement conscience de sa propre défaillance : il continue de produire un texte assuré, grammaticalement irréprochable, qui ressemble à une réponse correcte mais contient des contradictions logiques. Cette assurance rend les erreurs structurelles particulièrement dangereuses : l'utilisateur ne reçoit aucun signal indiquant que quelque chose a mal tourné.

L'étude remet aussi en question l'interprétation courante des bons résultats des modèles aux tests. Les scores élevés sur les benchmarks standard peuvent s'expliquer non par un progrès des capacités logiques, mais par un « calibrage » toujours plus fin sur les motifs présents dans les jeux de test. Autrement dit, le modèle apprend à répondre correctement à un certain type de questions sans acquérir de compréhension transférable. C'est la différence fondamentale entre apprendre par cœur et comprendre, et c'est ce qui explique pourquoi les LLM peuvent résoudre des problèmes de niveau doctorat tout en butant sur des casse-têtes élémentaires formulés de façon inhabituelle.

Pour l'industrie, ces conclusions ont des conséquences pratiques concrètes. Déployer des modèles de langage dans des infrastructures critiques, comme le diagnostic médical, l'analyse juridique ou la gestion des risques, impose de repenser l'approche. Les entreprises qui bâtissent leurs produits sur l'hypothèse que les LLM sont capables d'une inférence logique fiable prennent des risques difficiles à mesurer d'avance. Les chercheurs n'appellent pas à renoncer à ces technologies, mais réclament des normes de vérification plus strictes : chaque usage doit s'accompagner de limites claires indiquant où le modèle se comporte de façon prévisible et où il ne le fait pas.

La question de fond que soulève cette étude dépasse le cadre technique : que créons-nous réellement ? Si les modèles de langage sont des systèmes très précis de prédiction du token suivant, et non des systèmes de compréhension, tout le récit sur l'« intelligence artificielle » doit être reformulé. Une imitation de qualité du raisonnement peut être un outil utile, mais elle n'équivaut pas à raisonner. Comprendre cette frontière n'est pas du pessimisme : c'est une condition nécessaire pour bâtir quelque chose de réellement fiable sur les LLM.