SLICE-Mem reduce el consumo de tokens de memoria de agentes de IA en un 92% sin perder calidad

SLICE-Mem reduce el consumo de tokens de memoria de agentes de IA en

un 92% sin perder calidad

Investigadores de la Universidad Politécnica de Hong Kong, la Universidad del Sur de China de Tecnología y laboratorios afiliados han abordado un problema familiar para cualquiera que construya agentes de IA con memoria de largo plazo: para que un agente recuerde a un usuario entre sesiones, cada mensaje debe evaluarse, analizarse y almacenarse, y eso casi siempre se hace con un modelo de lenguaje grande. Cuanto más larga es la conversación, más veces hay que invocar al modelo, y la factura de tokens crece más rápido que el beneficio de lo que se recuerda.

El equipo propone SLICE-Mem, un sistema que elimina el modelo de lenguaje de la parte más frecuente del proceso de memoria —el paso de escritura en línea— y lo reserva únicamente para una limpieza ocasional en segundo plano.

Cómo funciona la selección de recuerdos

En lugar de preguntarle a un modelo grande "¿vale la pena recordar esta frase?", SLICE-Mem entrena un clasificador pequeño: un "filtro de relevancia". Este examina el mensaje del usuario junto con varios turnos previos del diálogo y calcula la probabilidad de que la información merezca guardarse: preferencias, hechos, planes, promesas. Se entrenó con etiquetas en las que tres modelos grandes distintos, actuando como "profesores", votaban si un mensaje era importante, además de anotaciones ya existentes en conjuntos de datos abiertos. El umbral de selección se ajustó de forma experimental: de nueve variantes posibles, los autores eligieron la que daba el mejor resultado final en la prueba Memora Weekly.

Si un mensaje supera el filtro, no se envía al modelo para reescribirlo. En su lugar, un analizador lingüístico estándar localiza el predicado de la frase y sus términos relacionados: quién es el actor, qué ocurrió, cuándo, por qué, dónde. Con estas piezas se construye una entrada compacta que se mantiene lo más cercana posible a las palabras originales del usuario, sin paráfrasis generada por el modelo. Si el algoritmo no puede extraer nada útil, simplemente guarda una versión depurada del mensaje original para no perder la información por completo.

Qué ocurre con la memoria después

El trabajo con las entradas ya almacenadas —buscar duplicados, hechos obsoletos (por ejemplo, que alguien se mudó o cambió de trabajo)— ocurre por separado, en segundo plano, y es aquí donde finalmente interviene el modelo. Compara una entrada nueva con otras antiguas similares y decide: dejar ambas tal cual, marcar una como duplicado de la más reciente, marcar la antigua como obsoleta (con un enlace a su sustituta) o señalar que las dos entradas simplemente se complementan. El texto original de las entradas nunca se reescribe ni se elimina; solo cambia su estado para la búsqueda.

Resultados de las pruebas

En el benchmark Memora Weekly (una prueba de memoria de agentes que penaliza el uso de información que ya debería haberse olvidado), con la configuración del modelo Qwen 30B, SLICE-Mem obtuvo 46,60 puntos frente a 46,68 del sistema comparable MemOS, una diferencia dentro del margen de error. Sin embargo, SLICE-Mem gastó solo 0,536 millones de tokens frente a los 7,009 millones de MemOS —una reducción del 92,4%— y el tiempo de construcción de memoria cayó de 2,378 horas a 0,362 horas, un 84,8% más rápido.

En LongMemEval-S (una prueba con preguntas sobre hechos de varias sesiones, actualización de conocimientos y razonamiento temporal), la diferencia en precisión es más notable: 56,8% para SLICE-Mem frente a 59,3% para MemOS. Pero el ahorro de tokens también alcanza su máximo aquí, con un 99,5%.

La limpieza de memoria en segundo plano tiene un efecto ambivalente en el resultado final. En Memora Weekly elevó la precisión a 46,74 (con el modelo de 30B) y a 47,29 (con el de 8B), pero el consumo total de tokens subió a 3,34–3,36 millones, casi seis veces más que en el modo en línea sin limpieza. Es decir, hay una mejora en calidad, pero cuesta tokens adicionales considerables.

Qué significa esto en la práctica

Para los equipos que construyen asistentes de IA personales con memoria del usuario, SLICE-Mem demuestra un compromiso viable: se puede reducir el consumo de tokens en un orden de magnitud con una pérdida casi nula en la calidad de la memoria, simplemente sustituyendo el modelo por un clasificador ligero y un análisis sintáctico en la etapa más frecuente —la de escritura—. Conviene reservar el modelo únicamente para la limpieza ocasional en segundo plano, donde es necesario comparar entradas entre sí y resolver contradicciones; ahí su aporte se justifica con una mejora de precisión estadísticamente notable, aunque modesta.