Los datos obsoletos en la memoria del agente hunden la precisión de Qwen2.5 del 100% al 44,6%

Más contexto recuperado no significa mejor respuesta. Investigadores del grupo de Oleeviya Babu Poikarayil (siete autores) lo demostraron con la tarea FactConsolidation del benchmark MemoryAgentBench. Qwen2.5-7B-Instruct, con búsqueda BM25 sobre un historial de 6K tokens, responde correctamente en el 45% de los casos cuando recibe 64 tokens de evidencias recuperadas. Con 512 tokens, la precisión cae al 32%. Y ocurre aunque una auditoría con anotación «de oro» encontró el enunciado más reciente en todos los resultados, sin excepción.

Dónde se rompe la cadena: la búsqueda o la lectura

Muchos benchmarks de memoria para agentes ofrecen una sola puntuación final para el conjunto «encontrar y responder». Si la puntuación baja, no se sabe si la búsqueda no recuperó la actualización o si el modelo la recibió y aun así no la usó. Los autores separaron ambos pasos. En la variante single-hop de FactConsolidation comprobaron si la versión vigente del hecho estaba entre los fragmentos recuperados. Siempre estaba. Por tanto, el problema está en cómo el modelo lee los resultados.

La mayoría de los errores se dieron en preguntas donde, junto al enunciado nuevo, se había colado también su versión obsoleta. Un presupuesto mayor aumenta la probabilidad de que entre en el contexto un registro antiguo sobre el mismo objeto. El modelo ve dos enunciados en conflicto y con frecuencia elige el equivocado.

Experimento controlado: hecho antiguo frente a hecho neutro

Para descartar el efecto de la longitud, los autores fijaron el prompt y el tamaño de las evidencias: cuatro enunciados. En una configuración, uno de ellos era ajeno al tema. En otra, lo sustituyeron por una versión obsoleta y competidora del hecho buscado. El volumen de contexto no cambió; solo varió la naturaleza de un enunciado.

• Qwen2.5-7B-Instruct: la precisión cae del 100% al 44,6%.
• Qwen3-14B: caída del 100% al 87,8%.
• Los 50 cambios pareados perjudiciales (la respuesta era correcta y pasó a ser incorrecta) se clasificaron como stale, es decir, la respuesta se tomó del enunciado obsoleto.

La conclusión de los autores: un enunciado obsoleto perjudica más que una evidencia neutra del mismo tamaño. Los tokens adicionales no son culpables por sí mismos. Lo es el contenido conflictivo que parece relevante.

Repetición con un historial largo

Con un historial de 32K tokens, el patrón se repitió. BM25 con un presupuesto de 64 tokens logra un 69%, y con 512 tokens, solo un 58%. De nuevo, la recuperación acotada supera a la amplia. El trabajo ha sido aceptado en el NeurIPS 2026 Workshop on Personalized, Aligned, Long-Term Memory for AI Systems (PALM) y consta de 23 páginas con apéndices.

Qué cambiar en los sistemas de agentes

Son conclusiones derivadas de los resultados del artículo, no recetas validadas por los propios autores. Pero se desprenden con naturalidad.

• Métricas. Conviene medir por separado el recall de la recuperación (si está el hecho vigente) y la calidad de la lectura (si el modelo lo usa). Un único indicador de extremo a extremo oculta la causa del fallo.
• Presupuesto de contexto. Hay que ajustarlo a cada tarea concreta. En ambas pruebas, 64 tokens dieron mejor resultado que 512 y, además, cuestan menos tokens por llamada. En agentes con sesiones largas, ese ahorro se acumula.
• Escritura en memoria. Si un enunciado nuevo sustituye a uno antiguo, conviene marcar el antiguo como reemplazado o eliminarlo al escribir, en lugar de confiar en que el modelo lo resuelva al leer. Las marcas de tiempo y de versión en los resultados también deberían ayudar.
• Posprocesamiento de los resultados. Antes de pasarlos al modelo, es razonable agrupar los enunciados sobre un mismo objeto y conservar solo el más reciente. Es especialmente importante para modelos pequeños: la diferencia entre Qwen2.5-7B y Qwen3-14B muestra que un modelo más potente es más robusto, pero no inmune.

Para quienes construyen asistentes personales y agentes de código con memoria prolongada, los usuarios cambian constantemente sus preferencias, direcciones y ajustes, de modo que las versiones obsoletas se acumulan de forma inevitable. Ampliar la ventana de recuperación «por si acaso» resulta más arriesgado de lo que parece. Antes hay que pensar qué entra en el almacén y cómo se depurará.