Deep Fusion Memory reduce la búsqueda 32 veces y supera a los baselines en un 12,7%

Un equipo de investigadores ha propuesto Deep Fusion Memory (DFM), una memoria paramétrica para grandes modelos de lenguaje que integra conocimiento externo en los estados ocultos y no requiere consultar ninguna base de datos mientras el modelo responde. Construir los datos de entrenamiento para esta memoria cuesta 32 veces menos en número de consultas de búsqueda y 2048 veces menos en número de elementos recuperados que en los enfoques paramétricos existentes. En seis benchmarks de QA, DFM supera al baseline más fuerte en un 12,71% con Mistral-7B-v0.3 y en un 11,19% con Qwen3-8B-Base.

Tres formas de enseñar algo nuevo a un modelo, y cada una tiene su precio

El problema le resultará familiar a cualquiera que haya llevado un LLM a un producto real: el modelo debe conocer información que no estaba en su preentrenamiento. Pueden ser documentos internos de una empresa, literatura médica o datos recientes. Las vías clásicas implican compromisos. El ajuste fino sobre un corpus nuevo corre el riesgo de provocar olvido catastrófico: el modelo aprende lo nuevo y pierde lo antiguo. RAG recupera los documentos sin rodeos, pero cada consulta se convierte en una búsqueda y el contexto se infla, lo que supone costes directos en latencia y en tokens.

La tercera vía es la memoria paramétrica externa. El conocimiento reside en parámetros entrenables independientes y no hay búsqueda en tiempo de ejecución. Pero tiene dos defectos, que son justo los que ataca DFM. Primero, preparar los datos para entrenar esta memoria exige una enorme búsqueda offline, porque los objetivos se construyen a nivel de tokens individuales. Segundo, la memoria suele combinarse con la salida del modelo mediante interpolación sobre la distribución de probabilidades. Es una fusión superficial: el conocimiento no influye en cómo «piensa» el modelo dentro de sus capas.

Un predictor de memoria en lugar de búsqueda

DFM traslada el trabajo de los tokens a los chunks. Un predictor causal de memoria genera un vector de memoria a partir del contexto previo. Se entrena con embeddings de chunks encontrados en el corpus, que actúan como señal de supervision. La memoria predicha es común a todos los tokens dentro del chunk, de modo que hacen falta muchas menos consultas al corpus. De ahí el ahorro de 32 veces en consultas y de 2048 veces en elementos recuperados.

La segunda parte del esquema es la fusión profunda. La memoria llega a los estados ocultos mediante gated cross-attention, es decir, con una puerta entrenable que regula cuánto conocimiento externo se deja pasar en cada punto. El predictor y el módulo de fusión se entrenan de extremo a extremo, mientras que el modelo base permanece congelado. Sus capacidades originales no se tocan, lo que responde directamente al problema del olvido. En inferencia no hay ninguna búsqueda explícita: la memoria se predice a partir del contexto.

Qué mostraron las mediciones

• Seis tareas de QA: +12,71% sobre el baseline más fuerte con Mistral-7B-v0.3.
• Las mismas tareas con Qwen3-8B-Base: +11,19%.
• Adaptación a dominios: de media, +6,51 puntos para Qwen3-4B-Base y +4,38 para Qwen3-8B-Base.
• Coste de construcción de los datos de entrenamiento: 32 veces menos consultas y 2048 veces menos elementos recuperados que en los métodos con objetivos a nivel de token.
• El backbone está congelado y no hace falta búsqueda en inferencia.

Conviene fijarse en la diferencia en adaptación a dominios: el modelo de 4B gana más que el de 8B. Es lógico si la memoria compensa la falta de conocimiento propio. Para los modelos más pequeños, que a menudo se ejecutan en hardware limitado, esta capa adicional resulta más útil.

A quién le sirve en la práctica

Para los equipos que construyen asistentes de dominio sobre modelos abiertos, DFM parece una opción intermedia entre RAG y el ajuste fino. No añade una llamada de búsqueda a cada consulta y no obliga a descongelar los pesos. Esto es especialmente importante donde la latencia es crítica y el corpus de conocimiento es estable: documentación interna, soporte técnico, manuales profesionales.

Las limitaciones también se deducen del propio esquema. El corpus hay que procesarlo una vez offline para obtener los embeddings de los chunks que se usan en el entrenamiento. Si el conocimiento cambia a diario, reentrenar el predictor sale más caro que actualizar el índice de RAG.

Por eso DFM más bien complementará al retrieval en lugar de desplazarlo: para datos que caducan rápido, la búsqueda seguirá siendo más cómoda, mientras que para áreas temáticas estables la memoria paramétrica con fusión profunda se convierte en una alternativa seria. Lo principal que demuestra el trabajo es que abaratar la preparación de datos en varios órdenes de magnitud no costó calidad, y que en QA esta incluso subió en porcentajes de dos dígitos.