Habr AI : pourquoi les hallucinations des LLM ressemblent moins à un bug mathématique qu’à une défaillance humaine

Sur Habr AI, une chronique a été publiée soutenant que les hallucinations des LLM devraient être considérées non seulement comme un défaut d'ingénierie, mais aussi comme le reflet des défaillances cognitives humaines qui nous sont familières. L'auteur examine la question comme le ferait un clinicien : au lieu de l'indignation, il propose d'analyser exactement où le système perd les limites de la tâche et pourquoi il produit confiemment une réponse incorrecte.

Pourquoi cela agace tout le monde

La réaction aux hallucinations des LLM est généralement très vive : l'utilisateur s'attend à ce que le modèle reste dans le contexte, mais il obtient à la place une déclaration confiante mais incorrecte. En réponse, les développeurs se sont longtemps cachés derrière des explications classiques comme GIGO et RTFM, puis ont commencé à renforcer les produits par RAG et des contraintes supplémentaires. Mais la plainte elle-même n'a jamais disparu : les gens s'attendent à ce que la machine se comporte comme un partenaire de conversation « sain » qui ne perd pas le fil et n'invente pas de faits à la volée.

Dans la chronique, cette logique est inversée. L'auteur écrit que les premiers dysfonctionnements du réseau neuronal ne l'ont pas surpris, car dans la pratique clinique, travailler avec les troubles de la pensée est une partie habituelle de la profession. De là découle la thèse principale : l'agacement ne surgit pas seulement de l'erreur en elle-même, mais d'une attente exagérée que l'IA devrait penser de manière plus claire et systématique que les humains.

• L'utilisateur s'attend au suivi littéral des instructions
• L'ingénieur rappelle la qualité des données d'entrée
• Les équipes produit ajoutent RAG, des filtres et des vérifications
• Mais le modèle hérite toujours des modèles de défaillance familiers

Bug du réseau neuronal protéique

La partie la plus forte du texte est un exemple quotidien où c'est la personne qui se trompe, pas le modèle. L'auteur donne une prémisse simple : « Sur mon passeport je suis Olga. À la maison on m'appelle Alena.

Choisis l'une des deux. » Formellement il n'y a que deux options, mais le « réseau neuronal protéique » répond souvent : « Tu es Lena. » Voilà, selon l'auteur, exactement ce à quoi ressemble une défaillance de l'ingénierie des prompts humains dans une tâche élémentaire.

Le point de cet exemple est que le cerveau n'aime pas maintenir longtemps des contraintes contradictoires. Au lieu d'un choix strict parmi un ensemble donné, il passe rapidement aux associations : Alena, Elena, Lena—et substitue une réponse statistiquement familière. L'erreur ne naît pas de la malveillance ni d'une incompréhension complète du langage, mais du désir de prendre un raccourci vers une conclusion « plausible ».

Donc la plainte « le réseau neuronal ignore le contexte » en quelque sorte revient aussi aux humains.

Ce qui se casse dans la tête

L'auteur décrit cette défaillance comme une constraint violation—une violation des paramètres de la tâche. Si on la regarde à travers la psychologie, le cerveau abandonne le prompt original, récupère l'option associative la plus pratique et la livre avec pleine confiance. En termes de biais cognitifs, cela ressemble à jumping to conclusions—un saut vers une conclusion sans vérification suffisante des conditions. Pour un lecteur de l'industrie de l'IA, cela ressemble presque à un bug familier de LLM : la contrainte était là, mais le système ne l'a pas maintenue jusqu'à la fin de la génération.

« L'IA n'est pas cassée.

Peut-être avons-nous recréé notre propre bug. »

La conclusion pratique de l'auteur est étonnamment pragmatique. Certaines de ces défaillances sont corrigées non seulement par de nouvelles astuces architecturales, mais par une discipline correcte de l'interaction. Si la tâche n'est pas claire, il est plus utile de clarifier que de deviner. Cette logique fonctionne pour les personnes comme pour les modèles : plus les limites sont bien établies, moins la réponse risque de dériver vers une improvisation confiante. Et c'est précisément pour cela que le débat sur les hallucinations ne peut pas se réduire uniquement à la question « le système a-t-il assez de données ? »

Que cela signifie

La chronique est utile en ce qu'elle élimine le drame inutile du sujet. Les hallucinations des LLM restent un problème de produit sérieux, mais la perspective clinique montre : une partie de leur nature peut être plus proche des raccourcis cognitifs humains que de la « folie mystérieuse de la machine ». Pour les développeurs, c'est un argument non seulement pour améliorer les modèles et la récupération, mais pour concevoir des interfaces où il est plus facile pour le système de clarifier une demande que d'échouer confiemment. Pour les utilisateurs—un rappel qu'un ton confiant n'est pas la même chose que la compréhension.