Científicos crean MEMO — un marco para expandir la memoria de LLM sin reentrenamiento

Investigadores de la Universidad Nacional de Singapur (NUS), MIT y A*STAR presentaron MEMO, un marco modular que permite a los modelos de lenguaje aprender rápidamente nuevos conocimientos sin reentrenar el modelo principal.

El problema de la escalabilidad del conocimiento

Los modelos de lenguaje grandes modernos se entrenan en conjuntos de datos masivos y almacenan el conocimiento adquirido en sus parámetros. Cuando es necesario agregar nuevos conocimientos, como datos de una base de datos corporativa, referencias médicas o información actualizada sobre eventos recientes, el enfoque tradicional requiere reentrenamiento completo del modelo. Esto significa meses de cálculos, millones de dólares en costos y un consumo masivo de energía. Además, durante el reentrenamiento, el modelo principal puede "desaprender" lo que ya sabía, un fenómeno conocido como olvido catastrófico.

Cómo funciona MEMO

MEMO ofrece una solución elegante: un módulo separado entrenable llamado "modelo de memoria". En lugar de modificar los parámetros del LLM principal, los nuevos conocimientos se codifican en este módulo dedicado, que funciona como una capa de memoria adicional, expandiendo las capacidades del modelo sin modificarlo.

La arquitectura de MEMO consta de varios componentes modulares:

• LLM principal (congelado) — genera texto como de costumbre, sin cambios en los parámetros
• Modelo de memoria — un módulo entrenable compacto que retiene nuevos hechos y conocimientos del corpus
• Módulo de integración — conecta la memoria con el modelo principal durante la generación de respuestas del usuario
• Mecanismo de búsqueda — encuentra hechos relevantes de la memoria en el momento de la inferencia para la contextualización
• Pipeline de entrenamiento — actualiza solo los parámetros del módulo de memoria, dejando el LLM sin cambios

Ventajas prácticas

Este enfoque ofrece varias ventajas clave para empresas e investigadores. En primer lugar, es un ahorro radical en recursos computacionales: solo es necesario reentrenar el módulo de memoria compacto, no el LLM de miles de millones de parámetros. En segundo lugar, el modelo principal permanece estable: su comportamiento original y el conocimiento previamente adquirido no se diluyen al agregar nuevos hechos. En tercer lugar, los conocimientos se pueden actualizar rápidamente en cuestión de horas o días, en lugar de meses de ciclos de reentrenamiento laboriosos.

Para aplicaciones empresariales, esto significa la posibilidad de adaptar rápida y económicamente los LLM existentes a sus necesidades: agregar conocimientos específicos del dominio, actualizar información en tiempo real en respuesta a nuevos eventos, crear variaciones personalizadas de modelos para diferentes productos y clientes.

Qué significa esto

MEMO es otro paso importante hacia arquitecturas modulares para IA. En lugar de considerar un modelo de lenguaje grande como una caja negra indivisible que necesita ser completamente reentrenada cada vez que se actualiza el conocimiento, los investigadores demuestran que la memoria y las capacidades originales pueden separarse. Esto abre el camino hacia formas más flexibles, económicas y eficientes de desarrollar y adaptar modelos de lenguaje.