Les modèles apprennent à la volée : un pas de SGD donne −8 % de loss et bat un contexte de 32k

Si l'on laisse un modèle de langage effectuer des pas de gradient directement sur le texte qu'il lit, il prédit mieux la suite du document. Cette technique, appelée dynamic evaluation, est connue de longue date. Mais elle a très peu été mesurée sur les architectures hybrides à attention linéaire, sur les modèles de langage à diffusion et sur les benchmarks standard de long contexte.

Surya Saka l'a fait. Sur les modèles à attention softmax classique, la perte sur le token suivant baisse de 5–8 %. Un modèle avec une fenêtre de 2k tokens et des poids mis à jour fait même mieux que le même modèle gelé auquel on montre les 32k tokens.

En revanche, sur les tâches qui consistent à retrouver un fait dans un long document, il n'y a aucun gain.

Un pas de SGD pour 128 tokens plutôt qu'un long contexte

La configuration est minimaliste. Un pas de SGD par chunk de 128 tokens, seules les projections de sortie des MLP du dernier quart des blocs sont mises à jour, aucun entraînement préalable, fenêtre d'attention de 2k tokens. Côté infrastructure, le détail compte : le KV-cache pour 2k tokens est environ 16 fois plus court que pour 32k, et le gradient n'est calculé que sur la fin du réseau. Sur Qwen3-1.7B, Qwen3-4B et Gemma-4-E4B, le gain de loss atteint 5–8 % par document.

Une vérification distincte portait sur les tâches d'extraction d'information. L'auteur a fait tourner RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI et la complétion de citations : au moins 100 exemples par test, deux tailles de modèles. Les poids mis à jour sur le document complet n'ont pas récupéré un seul point de précision perdu à cause de la troncature du contexte. La conclusion de l'auteur : l'adaptation règle le style et le vocabulaire, elle ne s'occupe pas de l'extraction de faits.

Les hybrides s'adaptent déjà, la diffusion gagne deux fois plus

Sur les modèles hybrides Gated-DeltaNet Qwen3.5-4B et Qwen3.8-27B, le gain ne dépasse pas 1 %, quel que soit le learning rate. L'explication est simple : les blocs d'attention linéaire mettent eux-mêmes à jour leur état au fil de la lecture, c'est-à-dire qu'ils réalisent la même adaptation sans gradient externe. Un SGD supplémentaire n'ajoute ici presque rien.

Les modèles de diffusion avec masquage se comportent différemment. Le mécanisme s'y transpose, à condition de réduire le learning rate et de clipper les mises à jour. L'effet est alors plus marqué que sur les modèles autorégressifs.

• Qwen3-1.7B, Qwen3-4B, Gemma-4-E4B (attention softmax) : −5–8 % de loss, résultat meilleur que celui du modèle gelé avec 32k de contexte.
• Qwen3.5-4B, Qwen3.8-27B (hybrides Gated-DeltaNet) : moins de 1 % quel que soit le learning rate.
• Nemotron-Diffusion-8B (diffusion masquée) : environ 8 %.
• DiffusionGemma-26B (diffusion masquée) : 17–20 %.
• Configuration : un pas de SGD pour 128 tokens, projections MLP du dernier quart des blocs, fenêtre de 2k.
• Benchmarks sans gain de précision : RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI, citation completion.

Les faits ne s'écrivent pas dans les poids, les conclusions si

L'idée naïve est la suivante : écrire un fait par un gradient sur la next-token loss, et le modèle le retiendra. En pratique, le modèle mémorise le format du prompt. En chat prompting, 30 % des faits sont rappelés, contre 80 % lorsqu'ils sont fournis en contexte. Le coût est également élevé : sur GSM8K, le modèle perd 36–38 points, quelle que soit la dose de mise à jour.

L'alternative proposée par l'auteur consiste à écrire la conclusion sous forme de comportement. Les jugements propres du modèle, conditionnés par la conclusion, sont distillés dans un adaptateur de faible rang. Sur 100 parties, le résultat est de 0,83 et 0,88, contre 0,84 et 0,88 pour la même conclusion fournie en contexte. GSM8K ne bouge pas. La conclusion elle-même peut venir d'une inquiry loop, un cycle dans lequel le modèle cherche la réponse en posant des questions selon un critère d'information gain.

Où l'intégrer dans la pile d'inférence

Pour les équipes qui font tourner des modèles softmax sur de longs documents, l'évaluation dynamique peut remplacer une partie du contexte coûteux : une fenêtre courte plus une légère mise à jour en ligne donnent une loss plus faible que 32k tokens avec des poids gelés. Elle convient toutefois au language modeling, à la stylisation et au travail sur un lexique spécialisé, par exemple des textes juridiques ou médicaux. Pour le RAG et la recherche de faits dans des contrats, elle est inutile : il faut toujours du contexte ou une mémoire externe.

Pour les architectures hybrides, une couche de SGD séparée ne sera pas rentabilisée. Pour les modèles de diffusion, elle paraît prometteuse, mais exige de régler le learning rate et le clipping. Et s'il s'agit d'ancrer une connaissance précise dans le modèle, la distillation de la conclusion dans un adaptateur LoRA fonctionne mieux que l'écriture directe de faits par la loss : elle maintient la qualité au niveau du contexte et n'abîme pas les capacités mathématiques. Le travail compte 19 pages, 13 figures et 12 tableaux, et il est publié sur arXiv sous la référence 2610.33025.