Los modelos aprenden sobre la marcha: un paso de SGD reduce la loss un −8% y supera a un contexto de 32k

Si se deja que un modelo de lenguaje dé pasos de gradiente directamente sobre el texto que lee, empieza a predecir mejor el resto del documento. La técnica se llama dynamic evaluation y se conoce desde hace tiempo. Sin embargo, apenas se había medido en arquitecturas híbridas con atención lineal, en modelos de lenguaje de difusión ni en los benchmarks estándar de contexto largo.

Surya Saka lo ha medido. En modelos con atención softmax clásica, la pérdida en el siguiente token cae entre un 5 y un 8%. Además, un modelo con ventana de 2k tokens y pesos actualizables supera al mismo modelo congelado al que se le muestran los 32k tokens.

Pero en las tareas que exigen encontrar un dato en un documento largo, no hay ninguna mejora.

Un paso de SGD cada 128 tokens en lugar de un contexto largo

La configuración es minimalista. Se da un paso de SGD por cada chunk de 128 tokens, solo se actualizan las proyecciones de salida del MLP en el último cuarto de los bloques, no hay entrenamiento previo y la ventana de atención es de 2k tokens. Para la infraestructura, este detalle importa: la KV-cache de 2k tokens es unas 16 veces más corta que la de 32k, y el gradiente se calcula únicamente sobre la parte final de la red. En Qwen3-1.7B, Qwen3-4B y Gemma-4-E4B, la mejora de la loss fue del 5–8% por documento.

Una comprobación aparte se centró en las tareas de extracción de información. El autor ejecutó RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI y la compleción de citas, con un mínimo de 100 ejemplos por prueba y dos tamaños de modelo. Los pesos actualizados sobre el documento completo no recuperaron ni un solo punto de la precisión perdida por el truncamiento del contexto. La conclusión del autor: la adaptación ajusta el estilo y el vocabulario, pero no se ocupa de extraer hechos.

Los híbridos ya se adaptan solos; la difusión gana el doble

En los modelos híbridos con Gated-DeltaNet, Qwen3.5-4B y Qwen3.8-27B, la mejora no supera el 1% con ningún learning rate. La explicación es sencilla: los bloques de atención lineal actualizan su propio estado a medida que leen, es decir, ya realizan esa misma adaptación sin gradiente externo. Un SGD adicional apenas aporta nada aquí.

Los modelos de difusión con enmascaramiento se comportan de otro modo. El mecanismo se traslada a ellos, siempre que se reduzca el learning rate y se aplique clipping a las actualizaciones. Entonces el efecto es mayor que en los modelos autorregresivos.

• Qwen3-1.7B, Qwen3-4B, Gemma-4-E4B (atención softmax): −5–8% de loss, mejor resultado que el modelo congelado con 32k de contexto.
• Qwen3.5-4B, Qwen3.8-27B (híbridos Gated-DeltaNet): menos del 1% con cualquier learning rate.
• Nemotron-Diffusion-8B (difusión enmascarada): alrededor del 8%.
• DiffusionGemma-26B (difusión enmascarada): 17–20%.
• Configuración: un paso de SGD cada 128 tokens, proyecciones MLP del último cuarto de los bloques, ventana de 2k.
• Benchmarks sin mejora de precisión: RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI, citation completion.

Los hechos no se escriben en los pesos, las inferencias sí

La idea ingenua es esta: escribimos un hecho con el gradiente de la next-token loss y el modelo lo recordará. En la práctica, el modelo memoriza el formato del prompt. Con chat prompting recuerda el 30% de los hechos, frente al 80% cuando se le entregan en el contexto. El coste también es alto: en GSM8K el modelo pierde 36–38 puntos con cualquier dosis de actualización.

La alternativa que propone el autor registra la inferencia como comportamiento. Los propios juicios del modelo, condicionados por la inferencia, se destilan en un adaptador de bajo rango. En 100 partidas, el resultado fue de 0,83 y 0,88 frente a 0,84 y 0,88 para la misma inferencia suministrada en el contexto. GSM8K, en cambio, no cambia. La propia inferencia puede venir de un inquiry loop, un ciclo en el que el modelo busca la respuesta haciendo preguntas según el criterio de information gain.

Dónde encaja en el stack de inferencia

Para los equipos que ejecutan modelos softmax sobre documentos largos, la evaluación dinámica puede sustituir parte de un contexto costoso: una ventana corta más una actualización online ligera dan una loss menor que 32k tokens con pesos congelados. Pero solo sirve para modelado de lenguaje, estilización y trabajo con léxico especializado, por ejemplo textos jurídicos o médicos. No sirve para RAG ni para buscar hechos en contratos: ahí siguen haciendo falta el contexto o una memoria externa.

En las arquitecturas híbridas, una capa de SGD independiente no compensa. En los modelos de difusión parece prometedora, pero exige ajustar el learning rate y el clipping. Y si se quiere fijar en el modelo un conocimiento concreto, funciona mejor destilar la inferencia en un adaptador LoRA que escribir los hechos directamente con la loss: así mantiene la calidad al nivel del contexto y no deteriora la capacidad matemática. El trabajo ocupa 19 páginas, 13 figuras y 12 tablas, y está publicado en arXiv como 2610.33025.