MemT-1.0 integra la memoria en el propio modelo: almacenamiento 66 veces menor con 128K

Los autores de MemT-1.0 proponen dejar de apuntalar el modelo de lenguaje con almacenes externos y convertir la memoria en parte del cómputo de la propia red. Con un historial de 128K tokens, el modelo más pequeño de la familia, MemT-1.0-Nano, muestra una aceleración de la inferencia de extremo a extremo de aproximadamente 1,86 veces y reduce el almacenamiento persistente 66 veces en comparación con el KV-cache completo. En total se han publicado dos modelos, Nano y Flash, y el entrenamiento se apoyó en 34B tokens de datos.

La memoria como parte del cómputo

La mayoría de los sistemas actuales aborda el problema del contexto largo por dos vías. La primera consiste en arrastrar todo el KV-cache, que crece con el historial. La segunda es recurrir al retrieval: buscar los fragmentos relevantes en una base externa e insertarlos en el prompt. Ambos enfoques tienen un coste: memoria o latencia en el primer caso; complejidad arquitectónica y dependencia de la calidad de la búsqueda en el segundo.

MemT-1.0 toma un tercer camino. Los autores lo llaman memory-native evolution: la memoria debe ser una capacidad integrada del foundation model, que le permita acumular información de forma continua y utilizarla. La arquitectura se construye sobre Metis y emplea Gated DeltaNet-2, un mecanismo con actualización estable de la memoria a nivel de token dentro de cada turno de conversación. Para escalar la capacidad se añade Mixture-of-Storage, de modo que la memoria nativa crece sin necesidad de inflar el contexto.

Cómo se entrenó

Antes del entrenamiento principal, el equipo preparó el backbone por separado. Después siguió un pipeline de dos etapas: continued pre-training y post-training. El volumen total de datos fue de 34B tokens, una cifra modesta para este tipo de trabajos que indica que el modelo se refinó sobre una base ya existente y no se entrenó desde cero. Los autores mencionan además una infraestructura especializada para entrenar e inferir de forma eficiente, aunque el resumen no detalla en qué consiste.

Qué mostraron las mediciones

La evaluación abarcó tanto las capacidades de memoria como las habilidades generales del modelo. Estos son los resultados clave según la descripción del trabajo:

• MemT-1.0 supera en promedio a los baselines con memoria paramétrica;
• sigue siendo competitivo frente a los métodos basados en retrieval-augmented generation;
• conserva en su mayor parte las capacidades generales, es decir, el ajuste para memoria no destruyó las habilidades básicas;
• con un historial de 128K tokens, MemT-1.0-Nano acelera la inferencia de extremo a extremo aproximadamente 1,86 veces respecto al contexto completo con KV-cache;
• el almacenamiento persistente se reduce 66 veces;
• en tareas de agentes aumenta la proporción de ejecuciones exitosas, porque el modelo asimila la experiencia procedimental extraída.

La fórmula «competitivo con RAG» refleja con honestidad la situación: los autores no afirman superar al retrieval. Es un matiz importante, porque el retrieval sigue siendo el caballo de batalla en producción. El resumen no ofrece cifras por benchmark concreto ni por tamaño de modelo, así que la magnitud de la ventaja sobre los baselines solo puede evaluarse con el texto completo del artículo.

Dónde puede resultar útil

El escenario más evidente son los agentes que trabajan durante mucho tiempo y necesitan recordar qué han probado ya y qué funcionó. Si la experiencia procedimental está integrada en el estado del modelo, no hace falta recuperarla de una base cada vez ni gastar tokens de contexto en ello. Para quienes desarrollan asistentes y agentes de programación, un ahorro de almacenamiento de 66 veces significa que el historial personal del usuario puede guardarse de forma más compacta y barata, y que en conversaciones largas la ganancia de velocidad crece con la longitud del contexto.

También conviene ser prudente. Los resultados se obtuvieron con dos modelos pequeños, y la afirmación de que se conservan las capacidades generales está formulada como «en su mayor parte». Antes de sustituir un pipeline de retrieval, conviene esperar verificaciones independientes, observar el comportamiento ante entradas erróneas o desactualizadas en la memoria y evaluar cómo encaja la memoria nativa con los requisitos de auditoría y eliminación de datos. Aun así, la dirección es clara: la memoria deja de ser un añadido y pasa a ser una propiedad de la arquitectura.