SLICE-Mem: la memoria de agentes LLM sin generación reduce el gasto de tokens entre un 92–99%

La memoria a largo plazo hace que un agente LLM se parezca a un interlocutor que recuerda lo que le dijiste la semana pasada. Pero sale cara: casi cada paso, desde decidir si se guarda algo o no hasta extraer hechos y organizarlos, requiere una llamada aparte a un modelo grande. El equipo de Xiaobin Chen y otros cuatro autores propone SLICE-Mem, un framework cuya parte online del pipeline no utiliza ningún LLM generativo. Con Qwen3-30B, casi alcanza en calidad al baseline generativo MemOS y gasta un 92,4% (Memora Weekly) y un 99,5% (LongMemEval-S) menos de tokens.

Un filtro a la entrada en lugar de un modelo en cada paso

En la mayoría de los sistemas de memoria para agentes, el LLM actúa como un oficinista multiusos. Lee el mensaje, decide si merece guardarse, lo reescribe como un hecho y lo contrasta con lo ya acumulado. Cada una de esas operaciones añade latencia y una factura de tokens, y ambas crecen con la longitud del diálogo.

SLICE-Mem divide el trabajo en dos circuitos. El circuito online consta de dos componentes ligeros:

• un clasificador compacto evalúa la relevancia (salience) de los mensajes del usuario y solo deja pasar a la memoria los que conviene retener;
• un extractor basado en dependencias semánticas construye registros breves a partir de los mensajes aceptados, apoyándose en el predicado, es decir, en la acción o el estado en torno al cual se articula el enunciado.

Ninguno de los dos pasos requiere que un modelo grande genere texto. El filtrado descarta la charla intrascendente y los conectores cotidianos, y la extracción centrada en predicados convierte lo que queda en unidades de memoria compactas.

La conciliación de registros se aplaza a la noche

El punto más delicado de cualquier memoria son las contradicciones y los duplicados. Si el usuario se ha mudado, ha cambiado de trabajo o ha cambiado de opinión, los registros nuevos deben encajar correctamente con los antiguos. Aquí los autores sí usan un LLM, pero no en tiempo real. La conciliación entre registros se traslada a una etapa de consolidación offline, que se ejecuta por separado de la conversación.

Esta separación lleva el trabajo costoso a un lugar donde no hay requisitos estrictos de latencia. El usuario no espera a que el modelo relea toda la memoria después de cada mensaje. Y si la consolidación puede lanzarse por lotes, su coste también resulta más controlable.

Qué mostraron los benchmarks

Los autores evaluaron el sistema en el subconjunto semanal de Memora y en LongMemEval-S. Para construir la memoria y para la consolidación utilizaron dos modelos de la familia Qwen: uno de 8B y otro de 30B parámetros. La comparación principal se hizo con el baseline generativo MemOS en la configuración Qwen3-30B.

• Memora Weekly, métrica FAMA (Forgetting-Aware Memory Accuracy): 46,60 para el pipeline online de SLICE-Mem frente a 46,68 para MemOS, una diferencia de 0,08 puntos.
• LongMemEval-S, precisión: 56,8% frente a 59,3%, un retraso de 2,5 puntos.
• Consumo total de tokens de LLM: un 92,4% menos en Memora Weekly y un 99,5% menos en LongMemEval-S.

En Memora, el resultado prácticamente coincide con el de MemOS. En LongMemEval-S se nota una pequeña pérdida, pero el ahorro alcanza casi dos órdenes de magnitud. Los autores concluyen que se pueden conservar evidencias útiles para la memoria a largo plazo dependiendo mucho menos del LLM al construirla.

Dónde puede resultar útil en la práctica

Para los equipos que desarrollan asistentes personales, soporte o agentes de programación con memoria entre sesiones, el artículo ofrece una referencia clara. Si la factura de tokens de la «contabilidad de la memoria» es comparable a la de las propias respuestas, conviene comprobar si hace falta generación en la entrada. El clasificador de relevancia y el análisis sintáctico funcionan con rapidez, se pueden mantener junto al servicio y no hace falta pasarlos por una API externa.

Las limitaciones también son visibles. Los resultados se han obtenido en dos benchmarks y con modelos Qwen, y la comparación con MemOS se presenta para una sola configuración. La brecha de 2,5 puntos en LongMemEval-S implica que, en tareas con exigencias estrictas de completitud de la memoria, la elección depende del coste del error. Aun así, como patrón de ingeniería, «filtro barato online, conciliación inteligente offline» parece viable. Reduce la latencia, hace predecible el coste de la memoria y reserva el modelo grande para los puntos donde de verdad no se puede prescindir de él.