Google enseña a un LLM a «dormir»: SLEEP fija el conocimiento en los pesos, hasta 10 millones de tokens

Google Research ha publicado el framework SLEEP, un nuevo enfoque de aprendizaje continuo para modelos de lenguaje. Separa en el tiempo la recepción de datos nuevos y su consolidación, como hacen la vigilia y el sueño en una persona. Durante el «sueño», el conocimiento de la memoria temporal se traslada a los pesos de bloques MoE adicionales. En los experimentos, el equipo mostró un funcionamiento con secuencias de hasta 10 millones de tokens en BABILong, una caída de calidad casi nula en el entrenamiento secuencial de traducción y un 79,2% en AIME 2024 frente a un 69% en AIME 2025.

Dos agujeros en la memoria del modelo

El aprendizaje continuo arrastra dos problemas antiguos. El primero es el olvido catastrófico: el modelo asimila información nueva y pierde habilidades que había adquirido antes. Las actualizaciones por gradiente para la nueva tarea sobrescriben pesos que eran importantes para las anteriores.

El segundo problema es que el conocimiento de la ventana de contexto no se convierte por sí solo en memoria permanente. Mientras la información está en el prompt, el modelo la utiliza. Cuando el contexto termina, desaparece. Además, el contexto largo es caro: hay que reprocesarlo y almacenarlo en memoria de trabajo en cada consulta. Si el conocimiento se escribe en los parámetros, deja de ocupar contexto y está disponible sin volver a enviarlo.

Vigilia, sueño y «sueños»

SLEEP alterna dos modos.

• Vigilia. El modelo trabaja con los datos de entrada y guarda la información en la memoria a corto plazo.
• Sueño. Se suspende la recepción de datos nuevos. El modelo activa bloques de memoria MoE adicionales y traslada el conocimiento a sus pesos, de modo que afecte lo menos posible a la información ya consolidada. Tras la transferencia, se libera la memoria temporal.

Una etapa aparte se llama «sueños». Combinaciones aleatorias de expertos generan ejemplos de entrenamiento; el sistema selecciona los más útiles y los usa para seguir entrenando. En esencia, el modelo prepara por sí mismo el material de consolidación, sin necesidad de un dataset externo en cada ciclo.

Una salvedad importante de la descripción: aquí el «sueño» es un ciclo controlado de reentrenamiento, con reglas que fijan los investigadores. La arquitectura y el código del modelo permanecen fijos. No es un organismo que evolucione por sí solo, sino un procedimiento reglado sobre un modelo MoE convencional.

Qué mostraron los experimentos

• BABILong. Trabajo con información de secuencias de hasta 10 millones de tokens, consolidándola en los parámetros en lugar de mantenerla en el contexto.
• Entrenamiento secuencial de traducción. Caída casi nula de los resultados en los idiomas aprendidos previamente tras asimilar otros nuevos.
• AIME 2024. Precisión del 79,2%.
• AIME 2025. Precisión del 69%.

Lo más revelador es, quizá, la traducción. Los idiomas se aprenden uno tras otro, un banco de pruebas clásico para medir el olvido: suele ser precisamente ahí donde la calidad en los primeros idiomas se resiente más. Los resultados en matemáticas indican que consolidar conocimiento nuevo no destruye la capacidad de razonamiento. Conviene notar también que en AIME 2025 el resultado es inferior al de 2024. La diferencia entre ambos años es la misma que vemos en muchos modelos, y con una sola publicación es pronto para sacar conclusiones sobre sus causas.

Dónde chocará con la práctica

Para los ingenieros, la pregunta principal es el coste. Trasladar conocimiento a los pesos implica ciclos adicionales de reentrenamiento, es decir, cómputo que hay que planificar: mientras el modelo «duerme», no atiende consultas. Habrá que decidir con qué frecuencia dormir, sobre qué volumen de memoria acumulada y cuántos bloques MoE dedicar al almacenamiento. Estos parámetros los fijan las reglas de los investigadores, y ajustarlos a una carga concreta quedará en manos de cada equipo.

La ventaja potencial está en la economía del contexto. Si el conocimiento corporativo, las conversaciones largas o una base de documentos en constante actualización se consolidan en los pesos, no hace falta mover millones de tokens en cada consulta ni pagar por reprocesarlos. Para agentes con un largo historial de trabajo, supone un ahorro directo en memoria y latencia.

Queda además un riesgo que la descripción no resuelve: escribir en los pesos es irreversible y más difícil de auditar que un documento en el contexto o en una base externa. En ámbitos regulados habrá que resolver por separado cómo eliminar y verificar el conocimiento consolidado. Por ahora, conviene ver SLEEP como un sólido resultado de investigación y un buen candidato para pruebas en proyectos con datos que se actualizan de forma continua. Todavía no es un componente de producto listo para usar.