Un RAG ingenuo supera a los sistemas de memoria agénticos en seis de siete pruebas

Un equipo de investigadores se preguntó si la memoria de los LLM necesita toda la complejidad que se le añade. Como rival de los sistemas agénticos complejos eligieron Raw-RAG: el pipeline más simple posible, en el que la búsqueda densa y el reranking operan sobre el historial de conversación sin procesar y pasan los fragmentos encontrados al modelo lector. En cuatro benchmarks de memoria a largo plazo (LoCoMo, LongMemEval, MEME y MemoryAgentBench), esta línea base quedó primera entre los sistemas comparados en seis de las siete parejas «benchmark – modelo». Frente al sistema agéntico más fuerte, ganó por entre 0,13 y 5,53 puntos.

Qué se comparó exactamente

En los últimos años, los sistemas de memoria agéntica han ido acumulando mecanismos. Reescriben entradas, construyen una estructura de almacenamiento, entrenan estrategias de recuperación y ejecutan otras operaciones complejas. La idea es comprensible: una conversación de cientos de intervenciones no cabe en el contexto, así que hay que comprimirla, organizarla y extraer con cuidado lo que hace falta.

Raw-RAG funciona al revés. Nadie resume ni reestructura el historial. Se guarda tal cual, la búsqueda encuentra los fragmentos relevantes, el reranker los ordena y el LLM lector responde a la pregunta. Los autores hicieron este esquema deliberadamente lo más directo posible, para obtener un punto de referencia honesto.

La diferencia en puntos es en algunos casos pequeña: el límite inferior es de apenas 0,13. Pero lo que importa es la dirección, más que la magnitud: un sistema sin memoria modificable, sin estructura y sin recuperación entrenada quedó por delante casi en todas partes.

Por qué funciona el historial bruto

Los autores no se quedaron en la tabla de resultados y analizaron de dónde sale esa competitividad. El análisis de las evidencias mostró que Raw-RAG gana gracias a la cobertura. Recupera con más frecuencia todas las evidencias necesarias para responder, y eso compensa que el lector las use con menor eficacia.

Hay un detalle importante sobre las propias evidencias. La información útil incluye los valores finales, como una fecha o un nombre, y también las relaciones entre hechos y las rutas de dependencias por las que se deduce la respuesta. Cuando la memoria se convierte en entradas comprimidas o en una estructura, esas conexiones se pierden con facilidad.

La observación más reveladora es que incluso el acceso completo a los almacenes transformados deja una brecha de precisión frente a las evidencias en bruto. Es decir, el problema no se limita a que la búsqueda agéntica falle a veces. La propia transformación ya descarta parte de la información, y después no se puede recuperar.

Datos clave

• Benchmarks: LoCoMo, LongMemEval, MEME, MemoryAgentBench.
• Pipeline de Raw-RAG: búsqueda densa, reranking, modelo lector.
• Resultado: primer puesto en seis de siete configuraciones «benchmark – modelo».
• Ventaja sobre la mejor memoria agéntica: 0,13–5,53 puntos.
• Mecanismo: mayor cobertura de las evidencias necesarias, con un menor aprovechamiento de ellas.
• La brecha con los datos en bruto persiste incluso con acceso completo a la memoria transformada.

Qué cambiar en la práctica

La primera consecuencia afecta a la metodología de evaluación. Ahora parece lógico comparar cualquier sistema de memoria nuevo con Raw-RAG, y los autores lo califican expresamente de línea base obligatoria. Si una arquitectura compleja no supera a la búsqueda sobre el historial bruto, su coste y sus puntos de fallo adicionales no están justificados.

La segunda consecuencia afecta a la ingeniería. Antes de construir una capa que reescriba y reorganice la memoria del agente, conviene guardar las intervenciones originales y medir qué proporción de las evidencias necesarias recupera la búsqueda. Si la cobertura es alta y las respuestas siguen siendo malas, el problema está en el lector. Si la cobertura es baja, hay que mejorar la búsqueda en lugar de rehacer el almacenamiento.

La tercera: comprimir tiene un coste. Si el sistema necesita de todos modos resumen o estructuración, conviene mantener el texto original al lado como fuente de respaldo, para poder restaurar las relaciones y las cadenas de dependencias.

Las conclusiones también tienen un límite, y los autores lo formulan con cautela: se refieren a las tareas de comprensión de conversaciones largas que se probaron. No se atreven a afirmar que la memoria compleja sea inútil en todos los casos. Pero para esta clase de tareas cambia la presunción: primero hay que demostrar que la complejidad adicional supera a la base simple, y no al revés.