Des chercheurs découvrent que les agents IA confondent anciens et nouveaux faits en mémoire, même après une recherche correcte

Le problème des souvenirs contradictoires

Si un agent IA dispose d'une mémoire à long terme — par exemple, il se souvient d'une conversation avec un utilisateur sur six mois, ou d'une base de faits sur un client — tôt ou tard, cette mémoire accumulera des contradictions : ce qui était vrai hier ne l'est plus aujourd'hui. Une équipe de chercheurs de l'université Otto-von-Guericke de Magdebourg (Allemagne) et de l'université du Kerala (Inde) s'est posée une question simple : si le système de recherche en mémoire retrouve à la fois l'ancienne et la nouvelle version d'un fait, le modèle de langage parviendra-t-il à choisir correctement celle qui est actuelle ?

La réponse courte : pas toujours, et plus il y a de « bruit » autour du bon fait, pire c'est.

Comment l'expérience a été menée

Les auteurs ont repris la tâche FactConsolidation du benchmark MemoryAgentBench — un ensemble d'affirmations numérotées où un numéro plus récent signifie une version plus actuelle du fait. Les faits sont synthétiques et contredisent délibérément les connaissances habituelles sur le monde (par exemple, le véritable auteur d'une pièce n'est pas celui que le modèle citerait d'après ses connaissances générales issues d'internet), afin de vérifier précisément si le modèle utilise bien le contexte fourni plutôt que ses connaissances internes.

Deux modèles ont été testés — Qwen2.5-7B-Instruct et Qwen3-14B, exécutés via Ollama sur un serveur GPU universitaire. La recherche des affirmations pertinentes a été réalisée avec l'algorithme BM25 (une méthode classique de classement de texte basée sur la correspondance des mots), en faisant varier le volume des résultats — de 64 à 512 tokens.

Ce que les chercheurs ont découvert

Premier résultat surprenant : lorsque le volume de données récupérées passait de 64 à 512 tokens, la précision de Qwen2.5 sur un historique de 455 affirmations chutait de 45 % à 32 %. On pourrait penser que plus de contexte signifie plus de chances de trouver la bonne réponse. Mais une vérification supplémentaire a montré que le fait recherché, le plus récent, était présent dans les résultats pour absolument les 100 questions, à chaque niveau de volume. La baisse de précision n'était donc pas due à une perte de l'information nécessaire, mais au fait que le modèle se perdait de plus en plus parmi les données superflues et choisissait le mauvais fait.

Les auteurs ont ensuite affiné l'expérience en un test épuré : ils ont pris 74 questions pour lesquelles un fait possède une version obsolète, et ont comparé deux ensembles de même taille, composés de quatre affirmations. Dans le premier, le fait actuel était accompagné de trois affirmations non pertinentes choisies au hasard. Dans le second, l'une de ces affirmations aléatoires était remplacée par la version obsolète du même fait (la version actuelle restant, elle, en place).

Le résultat s'est révélé net :

• Qwen2.5-7B répondait correctement aux 74 questions quand seules des affirmations non pertinentes l'entouraient. Mais dès que l'une d'elles était remplacée par un fait obsolète, la précision chutait à 33 bonnes réponses sur 74 (44,6 %).
• Qwen3-14B s'est montrée plus robuste : sa précision est passée de 100 % à 87,8 % (9 erreurs sur 74).
• Absolument toutes les erreurs, dans les deux cas, correspondaient au choix de l'ancien fait déjà annulé — jamais à du bruit aléatoire ou à des suppositions hasardeuses.

Autrement dit, un fait obsolète de même taille s'est révélé bien plus dangereux pour le modèle qu'un simple texte non pertinent — alors qu'intuitivement, on pourrait s'attendre à ce que le modèle s'en sorte, puisque la bonne réponse est visible dans le contexte et qu'il est explicitement précisé que « le numéro le plus récent prévaut ».

L'effet a été confirmé sur un historique de mémoire plus volumineux — 2310 affirmations et 100 questions : la précision avec une recherche restreinte (64 tokens) s'élevait à 69 %, contre 58 % avec une recherche large (512 tokens). Toutes les erreurs de cet échantillon correspondaient également au choix du fait obsolète.

Pourquoi c'est important

La principale conclusion pratique : on ne peut pas évaluer un système de mémoire d'agent IA avec un seul chiffre de précision globale. Il faut distinguer deux questions différentes — le système de recherche a-t-il trouvé le bon fait, actuel, et le modèle a-t-il choisi précisément celui-ci, plutôt que l'ancienne version, lorsque les deux figurent dans le contexte. Si l'on ne mesure que la précision finale de la réponse, on risque de confondre un problème de recherche avec un problème de « raisonnement » du modèle — alors que les solutions à ces deux problèmes sont différentes.

Les auteurs proposent une piste concrète pour les développeurs de systèmes de mémoire : ne pas simplement retrouver tous les faits pertinents et les transmettre tels quels au modèle, mais marquer explicitement les entrées obsolètes comme inactives, ou réduire leur poids lors de la restitution, tout en conservant l'historique des modifications par souci de transparence. Sans cela, tout système dont la mémoire évolue avec le temps — mémoire CRM, assistant personnel, base de connaissances d'entreprise — risque de fournir périodiquement à l'utilisateur une information depuis longtemps annulée, même si le fait actuel correct a techniquement été « retrouvé ».

Limite de l'étude : seuls deux modèles de la famille Qwen ont été testés sur un unique benchmark synthétique, avec des chaînes de mise à jour relativement simples (ne dépassant pas deux versions d'un fait). Les auteurs reconnaissent honnêtement n'avoir pas vérifié l'effet sur d'autres familles de modèles, ni sur des systèmes de recherche vectorielle (plutôt que lexicale) — on ne peut donc pas encore parler d'une conclusion réellement universelle, mais le signal mérite clairement d'être pris en compte dans la conception de la mémoire des agents.