Peut-on entraîner un modèle de langage en direct, pendant qu'il lit ? Le test sur toutes les architectures

Peut-on entraîner un modèle de langage en direct, pendant qu'il lit ?

Le test sur toutes les architectures

Une équipe de chercheurs s'est posée une question simple : que se passerait-il si un modèle de langage apprenait réellement à partir d'un long texte pendant sa lecture — en effectuant de minuscules pas de descente de gradient sur chaque nouveau fragment de texte, plutôt que de simplement le faire passer par la fenêtre d'attention ? L'idée n'est pas nouvelle : déjà en 2019, elle avait été testée sur l'architecture Transformer-XL, puis en 2024 sur de petits modèles de 150 millions à 1 milliard de paramètres. Mais depuis, l'industrie a considérablement évolué : des modèles instruct de 2 à 30 milliards de paramètres sont apparus, ainsi que des architectures hybrides à attention linéaire et des modèles de langage à diffusion.

Pour ces derniers, cette technique n'avait jamais été évaluée.

Pour corriger cela, les auteurs ont adopté une recette minimale : seules les projections de sortie des couches MLP du dernier quart des blocs du modèle ont été dégelées, la fenêtre d'attention a été maintenue à 2 000 tokens, aucun réentraînement complet n'a été effectué — simplement, après chaque fragment de texte de 128 tokens, une étape de SGD était appliquée sur l'erreur de prédiction du token suivant. Pas de fine-tuning, pas de magie — une vérification pure de ce qu'apporte l'étape de gradient en plus de ce que le modèle sait déjà faire grâce à l'attention.

Les transformeurs classiques en profitent vraiment

Sur les modèles à attention softmax classique — Qwen3-1.7B, Qwen3-4B et Gemma-4-E4B — l'effet s'est révélé stable et significatif : l'erreur de prédiction du texte a diminué de 5 à 8 % de manière absolue sur chacun des 98 livres testés et sur les 100 décisions de justice de l'ensemble de test. Cela fonctionnait même mieux que si l'on donnait simplement au modèle tout le document d'un coup (32 000 tokens) sans aucun ajustement des poids — là où l'attention classique n'apportait rien, l'étape de gradient éliminait encore 0,17 nat d'erreur.

Il semble donc que l'attention « copie » le texte déjà vu, tandis que l'étape de gradient modifie la manière même du modèle — en ajustant son vocabulaire et son style au document.

Les modèles hybrides n'en ont presque pas besoin

Le tableau est tout autre pour les modèles à architecture Gated-DeltaNet — des hybrides où trois des quatre blocs utilisent l'attention linéaire au lieu de l'attention classique (Qwen3.5-4B, Qwen3.8-27B). Pour eux, le gain apporté par l'ajustement par gradient était inférieur à 1 %, et avec un taux d'apprentissage mal choisi, le modèle se mettait même à prédire le texte moins bien. La raison est que l'attention linéaire dans ces blocs fonctionne déjà comme une « mémoire rapide » : elle met à jour en continu son état interne selon la règle delta au fil de la lecture, s'adaptant donc déjà d'elle-même au document. L'étape de gradient supplémentaire ne fait que dupliquer ce que l'architecture accomplit déjà gratuitement.

Les modèles à diffusion en profitent encore plus — mais avec des réserves

Sur les modèles de langage à diffusion (Nemotron-Diffusion-8B et DiffusionGemma-26B), la même astuce a produit un effet encore plus marqué — un gain de 8 % et de 17 à 20 % respectivement. Mais il a fallu pour cela réduire le taux d'apprentissage et limiter l'amplitude de chaque mise à jour des poids : au taux habituellement utilisé pour les transformeurs, le modèle divergeait rapidement — l'erreur bondissait de 9,3 à 41,6.

La limite principale : ce n'est pas de la mémoire, c'est du style

Sur huit tests sérieux de compréhension de longs documents (RULER, HotpotQA, MuSiQue, SCOTUS et autres), l'ajustement des poids sur le document complet n'a récupéré aucun point de précision perdu lors de la troncature du contexte. Autrement dit, le modèle prédit effectivement le texte avec plus de précision, mais ne mémorise pas des faits précis de manière à pouvoir ensuite les extraire. Si l'on « enregistre » directement un fait par apprentissage sur le token suivant, le modèle mémorise le format de la phrase, pas le fait lui-même : lors d'une question classique, seulement 30 % des faits sont reconnus, contre 80 % lorsqu'ils sont fournis directement dans le contexte — et les mathématiques en souffrent en plus, avec une baisse de 36 à 38 points sur GSM8K.

Une autre approche fonctionne : au lieu d'enregistrer directement le fait, les chercheurs ont distillé les propres déductions du modèle (obtenues, par exemple, via une chaîne de questions de clarification) dans un adaptateur LoRA compact. Cet enregistrement du « comportement » plutôt que du « fait » atteint la qualité obtenue avec le contexte complet (0,83–0,88 contre 0,84–0,88) et ne dégrade pas les capacités mathématiques du modèle.

La conclusion pour les ingénieurs qui envisagent l'apprentissage à la volée : cette technique n'a de sens que pour les transformeurs classiques à attention softmax et pour les modèles à diffusion, et encore uniquement comme un moyen d'adapter le style et le vocabulaire du modèle à un long texte, et non comme un substitut à une véritable recherche de faits dans le document. Pour les architectures hybrides à attention linéaire, elle est superflue, et pour enregistrer des faits précis, il est préférable d'utiliser la distillation des déductions plutôt que l'apprentissage direct sur le texte.