Los investigadores descubren: los agentes de IA confunden hechos antiguos y nuevos en su memoria incluso tras una búsqueda correcta

El problema de la memoria a largo plazo

Si un agente de IA cuenta con memoria a largo plazo —por ejemplo, recuerda seis meses de conversación con un usuario o mantiene una base de datos de hechos sobre un cliente—, tarde o temprano se acumularán contradicciones en esa memoria: algo que era cierto ayer puede dejar de serlo hoy. Un equipo de investigadores de la Universidad Otto von Guericke de Magdeburgo (Alemania) y la Universidad de Kerala (India) se planteó una pregunta sencilla: si un sistema de búsqueda en memoria recupera tanto la versión antigua como la nueva de un hecho, ¿será el modelo de lenguaje capaz de elegir correctamente la vigente?

La respuesta corta es: no siempre, y cuanto más "ruido" rodea al hecho correcto, peor es el resultado.

Cómo lo probaron

Los autores partieron de la tarea FactConsolidation del benchmark MemoryAgentBench: un conjunto de afirmaciones numeradas donde un número posterior indica una versión más actual del hecho. Los hechos son sintéticos y contradicen deliberadamente el conocimiento habitual del mundo (por ejemplo, el verdadero autor de una obra no es el que el modelo recordaría de su conocimiento de internet), precisamente para comprobar si el modelo utiliza el contexto proporcionado y no su conocimiento interno.

Se probaron dos modelos —Qwen2.5-7B-Instruct y Qwen3-14B—, ejecutados mediante Ollama en un servidor GPU universitario. La búsqueda de afirmaciones relevantes se realizó con el algoritmo BM25 (un método clásico de clasificación de texto por coincidencia de palabras), variando el volumen de resultados entre 64 y 512 tokens.

Qué descubrieron

El primer resultado inesperado: al aumentar el volumen de datos recuperados de 64 a 512 tokens, la precisión de Qwen2.5 en un historial de 455 afirmaciones cayó del 45% al 32%. Cabría pensar que más contexto implica más posibilidades de encontrar la respuesta correcta. Pero una verificación adicional mostró que el hecho necesario, el más reciente, estaba presente en los resultados en absolutamente las 100 preguntas en cada nivel de volumen. La caída de precisión no se debió a la pérdida de la información necesaria, sino a que el modelo se confundía cada vez más entre los datos sobrantes y elegía el hecho equivocado.

A continuación, los autores acotaron el experimento a una prueba más limpia: tomaron 74 preguntas en las que el hecho tenía una versión obsoleta y compararon dos conjuntos de cuatro afirmaciones del mismo tamaño. En el primero, el hecho vigente más tres afirmaciones irrelevantes aleatorias. En el segundo, lo mismo, pero una afirmación aleatoria se sustituyó por la versión obsoleta de ese mismo hecho (la versión vigente permanecía en su lugar).

El resultado fue drástico:

• Qwen2.5-7B respondió correctamente a las 74 preguntas cuando a su alrededor solo había afirmaciones irrelevantes. Pero cuando una de ellas se sustituyó por un hecho obsoleto, la precisión cayó a 33 respuestas correctas de 74 (44,6%).
• Qwen3-14B se mostró más resistente: la precisión bajó del 100% al 87,8% (9 errores de 74).
• Absolutamente todos los errores en ambos casos consistieron en elegir precisamente el hecho antiguo, ya anulado, y no ruido aleatorio ni suposiciones.

Es decir, un hecho obsoleto del mismo tamaño resultó mucho más peligroso para el modelo que un simple texto irrelevante, aunque intuitivamente cabría esperar que, si la respuesta correcta está visible en el contexto y se indica explícitamente que "el número más reciente prevalece", el modelo debería resolverlo sin problemas.

El efecto se confirmó también en un historial de memoria más extenso —2.310 afirmaciones y 100 preguntas—: la precisión con búsqueda acotada (64 tokens) fue del 69%, y con búsqueda amplia (512 tokens), del 58%. Todos los errores en esta muestra también consistieron en elegir el hecho obsoleto.

Por qué es importante

La conclusión práctica principal es que no se puede evaluar un sistema de memoria de un agente de IA con una única cifra de precisión general. Es necesario separar dos preguntas distintas: ¿encontró el sistema de búsqueda el hecho correcto y vigente?, y ¿eligió el modelo precisamente ese hecho y no una versión antigua, si ambas están en el contexto? Si solo se mide la precisión final de la respuesta, es fácil confundir un problema de búsqueda con un problema de "razonamiento" del modelo, y las soluciones para cada uno son distintas.

Los autores proponen una dirección concreta para los desarrolladores de sistemas de memoria: no basta con recuperar todos los hechos relevantes y entregárselos al modelo tal cual, sino marcar explícitamente los registros obsoletos como inactivos o reducir su peso en la recuperación, conservando al mismo tiempo el historial de cambios para mantener la transparencia. De lo contrario, cualquier sistema cuya memoria se actualice con el tiempo —la memoria de un CRM, un asistente personal, una base de conocimiento corporativa— corre el riesgo de mostrar periódicamente al usuario información ya anulada hace tiempo, incluso cuando el hecho correcto y vigente técnicamente "haya sido encontrado".

Limitación del estudio: solo se probaron dos modelos de la familia Qwen en un único benchmark sintético, con cadenas de actualización relativamente simples (no más de dos versiones de un hecho). Los autores reconocen abiertamente que no comprobaron el efecto en otras familias de modelos ni en sistemas con búsqueda vectorial (no léxica), por lo que todavía no puede considerarse una conclusión plenamente universal, pero la señal merece sin duda tenerse en cuenta al diseñar la memoria de los agentes.