¿Se puede enseñar a un modelo de lenguaje mientras lee? Lo probaron en todas las arquitecturas

¿Se puede enseñar a un modelo de lenguaje mientras lee?

Lo probaron en todas las arquitecturas

Un equipo de investigadores se planteó una pregunta engañosamente sencilla: ¿qué pasaría si un modelo de lenguaje aprendiera de verdad a partir de un texto largo mientras lo lee, dando pequeños pasos de descenso de gradiente en cada fragmento nuevo, en lugar de simplemente procesarlo a través de una ventana de atención? La idea no es nueva: ya se probó en 2019 con la arquitectura Transformer-XL, y en 2024 con modelos pequeños de entre 150 millones y 1.000 millones de parámetros.

Pero desde entonces la industria ha avanzado mucho: han aparecido modelos instruct de entre 2.000 y 30.000 millones de parámetros, arquitecturas híbridas con atención lineal y modelos de lenguaje de difusión.

Para ellos, esta técnica nunca se había medido.

Para corregir esto, los autores partieron de una receta mínima: descongelaron solo las proyecciones de salida de las capas MLP en el último cuarto de los bloques del modelo, mantuvieron la ventana de atención en 2.000 tokens, no realizaron entrenamiento desde cero, y simplemente, tras cada fragmento de texto de 128 tokens, dieron un paso de SGD sobre el error de predicción del siguiente token. Sin ajuste fino adicional, sin trucos extra: una comprobación limpia de lo que aporta el paso de gradiente más allá de lo que el modelo ya es capaz de hacer con la atención.

A los transformers clásicos sí les ayuda de verdad

En los modelos con atención softmax clásica —Qwen3-1.7B, Qwen3-4B y Gemma-4-E4B— el efecto fue estable y notorio: el error de predicción de texto se redujo entre un 5% y un 8% de forma absoluta en cada uno de los 98 libros analizados y en las 100 sentencias judiciales del conjunto de prueba. Y esto funcionó incluso mejor que si a los modelos simplemente se les hubiera dado todo el documento completo (32.

000 tokens) sin ningún ajuste de pesos: en los casos donde la atención normal no aportaba nada, el paso de gradiente eliminaba otros 0,17 nats de error. Es decir, la atención "copia" el texto que ya ha visto, mientras que el paso de gradiente cambia el propio estilo del modelo: ajusta su vocabulario y su tono al documento.

Los modelos híbridos casi no lo necesitan

El panorama es completamente distinto en los modelos con arquitectura Gated-DeltaNet, híbridos donde tres de cada cuatro bloques usan atención lineal en lugar de la clásica (Qwen3.5-4B, Qwen3.8-27B). En ellos, la ganancia del ajuste por gradiente fue inferior al 1%, y con una tasa de aprendizaje mal elegida, el modelo incluso empezaba a predecir peor el texto. La razón es que la atención lineal en estos bloques ya funciona como una especie de "memoria rápida": mientras lee, actualiza su estado interno siguiendo una regla delta, es decir, se adapta continuamente al documento por sí sola. El paso de gradiente adicional simplemente duplica algo que la arquitectura ya hace gratis.

A los modelos de difusión les ayuda incluso más, pero con matices

En los modelos de lenguaje de difusión (Nemotron-Diffusion-8B y DiffusionGemma-26B), el mismo truco funcionó de forma aún más notoria: una ganancia del 8% y del 17–20% respectivamente. Pero para lograrlo hubo que bajar la tasa de aprendizaje y limitar el tamaño de cada actualización de pesos: con la tasa habitual para transformers, el modelo divergía rápidamente, y el error se disparaba de 9,3 a 41,6.

La gran limitación: esto es estilo, no memoria

En ocho pruebas serias de comprensión de documentos largos (RULER, HotpotQA, MuSiQue, SCOTUS y otras), el ajuste de pesos sobre el documento completo no recuperó ni un solo punto de precisión perdido por recortar el contexto. Es decir, el modelo realmente predice el texto con más precisión, pero no memoriza datos concretos de forma que luego pueda extraerlos. Si se intenta "grabar" un dato directamente mediante entrenamiento sobre el siguiente token, el modelo memoriza el formato de la frase, no el dato en sí: ante una pregunta normal, solo se reconoce el 30% frente al 80% cuando el dato se entrega directamente en el contexto, y además las matemáticas se ven afectadas, con una caída de 36 a 38 puntos en GSM8K.

Hay otro método que sí funciona: en lugar de grabar el dato directamente, los investigadores destilaron las propias conclusiones del modelo (obtenidas, por ejemplo, mediante una cadena de preguntas aclaratorias) en un adaptador LoRA compacto. Esta forma de grabar "comportamiento" en lugar de "dato" alcanza la calidad del trabajo con el contexto completo (0,83–0,88 frente a 0,84–0,88) y no perjudica las capacidades matemáticas del modelo.

La conclusión para los ingenieros que piensan en el entrenamiento sobre la marcha: esta técnica solo tiene sentido para los transformers clásicos con atención softmax y para los modelos de difusión, y aun así solo como forma de adaptar el estilo y el vocabulario del modelo a un texto largo, no como sustituto de una búsqueda real de datos en el documento. Para las arquitecturas híbridas con atención lineal resulta redundante, y para grabar datos concretos es mejor usar la destilación de conclusiones en lugar del entrenamiento directo sobre el texto.