Pourquoi les LLM mentent et oublient des faits : comment fonctionne la mémoire des modèles de langage

Les modèles de langage ressemblent de plus en plus à des experts sûrs d'eux, et se trompent de plus en plus sur les détails. Pourquoi, où se cache la racine du problème dans l'architecture des LLM, et peut-on y remédier ?

La plupart des utilisateurs voient un modèle de langage comme une base de connaissances dotée d'un moteur de recherche : on pose une question et on obtient une réponse tirée d'un stockage. En réalité, le fonctionnement est tout autre. Un modèle de langage est une machine statistique qui prédit le token suivant. Il ne mémorise pas les faits au sens habituel : la connaissance est encodée dans les poids du réseau de neurones, compressée et mêlée à des milliards d'autres données. Quand le modèle répond, il ne récupère pas une entrée précise dans un tableau. Il génère le texte le plus plausible au regard des statistiques apprises.

De cette différence fondamentale découlent quatre grandes causes d'erreur.

La première est la compression de l'information pendant l'entraînement. Imaginez que vous lisiez des milliers d'articles puis que vous les résumiez de mémoire un an plus tard. Les chiffres exacts et les noms s'effacent, il reste le sens général. Le modèle fait quelque chose de similaire, mais à l'échelle de centaines de milliards de paramètres. Un fait précis, comme une date exacte ou le nom d'un personnage secondaire, peut simplement ne pas être encodé assez nettement, et à la génération le modèle substituera une valeur statistiquement proche, mais fausse. Ce n'est pas de la tromperie : c'est la limite de résolution de la mémoire.

La deuxième cause est la fenêtre de contexte limitée. Tout ce que le modèle voit au moment de répondre, c'est la conversation en cours et ce qui y a tenu. Les modèles actuels disposent de fenêtres de 8 à 200 mille tokens. Cela paraît beaucoup, mais avec de longs dialogues, des documents volumineux ou des tâches avec historique, la fenêtre se remplit vite. Quand une ancienne information sort de ses limites, le modèle ne la voit tout simplement plus. Il n'oublie pas au sens humain : il n'a jamais su ce qui ne figure pas dans la fenêtre à cet instant.

La troisième cause est l'absence de mémoire externe par défaut. Un LLM classique, sans outils supplémentaires, ne peut interroger ni base de données, ni moteur de recherche, ni vos conversations précédentes. Chaque nouvelle conversation est une page blanche. C'est pourquoi un modèle à qui vous avez confié quelque chose d'important il y a une semaine ne s'en souviendra pas aujourd'hui. Les systèmes RAG (retrieval-augmented generation) résolvent en partie le problème : avant de générer la réponse, ils récupèrent des documents pertinents dans un stockage externe et les injectent dans le contexte. Mais il s'agit d'une surcouche architecturale, pas d'une propriété de base du modèle de langage.

La quatrième cause tient aux erreurs et aux contradictions dans les données d'entraînement. Internet regorge d'inexactitudes, de données périmées et de sources qui se contredisent. Le modèle s'entraîne sur cet ensemble et assimile non seulement des connaissances, mais aussi des idées fausses. Quand le fait exact apparaît moins souvent dans les données que le fait erroné, le modèle reproduira très probablement l'idée fausse répandue. Les dates historiques, les noms d'organisations et les termes très spécialisés sont particulièrement vulnérables, car c'est là que les données d'entraînement contiennent le plus souvent des inexactitudes.

Qu'est-ce que cela implique pour l'utilisateur ? D'abord, on ne peut pas utiliser un modèle de langage comme source définitive pour des affirmations factuelles, surtout pour les dates, les noms, les chiffres et les données juridiques ou médicales. Ensuite, plus votre requête et son contexte sont précis et détaillés, moins le modèle a de marge pour extrapoler. Enfin, les produits fondés sur des LLM où la précision est cruciale doivent recourir au RAG ou à des outils ayant accès à des données à jour ; sans cela, le risque d'erreurs systématiques reste structurel.

Comprendre ces mécanismes ne rend pas les LLM moins utiles : cela fait de vous un utilisateur plus averti. Le modèle ne ment pas intentionnellement. Il génère simplement ce qui est statistiquement plausible d'après ses poids entraînés. Et plausible ne veut pas dire vrai.