ELR apprend à un seul modèle à tourner en boucle : Koi-4B obtient 18 et 29 points

Les auteurs d'un preprint publié sur arXiv proposent Elastic Latent Recurrence (ELR), une recette d'entraînement pour des modèles de langage bouclés qui, à un seul passage, ne perdent pas face aux modèles classiques. Sur un modèle dense de 4B, ELR à un passage se situe 0,52 point sous une référence comparable, sur la moyenne de dix tâches. Sur un hybride MoE 30B-A3B, il la dépasse de 1,04 point. Quatre passes ajoutent respectivement 7,25 et 4,75 points. Le post-entraînement a donné Koi-4B : environ 18 points sur l'Artificial Analysis Intelligence Index à un passage, au niveau de Qwen3.5-4B, et 29 à quatre passages.

La taxe du passage unique

Un modèle récurrent latent applique plusieurs fois de suite le même bloc de couches. Le nombre de répétitions devient un réglage : un seul cycle pour aller plus vite, davantage pour gagner en précision. Un même checkpoint sert ainsi les requêtes bon marché comme les requêtes complexes. En théorie, c'est pratique. En pratique, à un seul passage, ces modèles sont nettement plus faibles qu'un modèle classique de même taille. Les auteurs appellent cela la « taxe du passage unique ». Tant qu'elle existe, quand les contraintes de latence sont strictes, il est plus raisonnable de déployer un modèle non récurrent distinct, et toute l'idée d'un checkpoint unique et flexible perd son sens.

ELR vise précisément cette taxe. À un seul passage, le modèle coûte autant à servir qu'un modèle classique et, entraîné sur les mêmes données, atteint une précision comparable. Chaque cycle supplémentaire achète de la précision au prix de calcul d'inférence supplémentaire.

Trois choix de conception et quelques astuces d'ingénierie

La recette repose sur trois décisions. Première décision : une mise à jour d'état avec porte (gate) et un pas d'amplitude apprenable. Deuxième décision : le nombre de cycles est mélangé à l'intérieur de chaque étape de l'optimiseur, au lieu d'être fixé pour toute la session d'entraînement. Troisième décision : chaque passage reçoit un conditionnement sous forme d'indice de cycle et de budget total. Les deux premières préservent la qualité à un seul cycle ; la troisième réduit la loss à chaque cycle supplémentaire.

Les auteurs se sont aussi penchés sur le coût de l'entraînement. La profondeur mixte peut être activée tard dans le pré-entraînement. Si l'on ajoute, au moment de la bascule, un conditionnement initialisé à zéro, ce calendrier tardif atteint une loss plus faible que l'entraînement mixte dès le départ. Dans les modèles MoE, la réutilisation, aux cycles suivants, des routes d'experts du premier cycle réduit de 11,7% le temps de la mise à jour mixte, sans perte de précision mesurable. À l'inférence, ne conserver que le KV-cache d'attention du dernier cycle maintient la mémoire au niveau d'un seul passage et préserve l'essentiel du gain apporté par les cycles supplémentaires.

Les chiffres

• 4B dense : −0,52 point par rapport à la référence à un cycle, +7,25 à quatre.
• 30B-A3B MoE (hybride) : +1,04 point à un cycle, +4,75 à quatre.
• MoE, réutilisation des routes du premier cycle : −11,7% de temps de mise à jour mixte.
• KV-cache du dernier cycle : mémoire d'attention équivalente à celle d'un seul passage.
• Koi-4B : environ 18 sur l'Artificial Analysis Intelligence Index à un cycle (estimation) et 29 à quatre.

À quoi cela peut servir

L'effet pratique principal concerne le serving. Aujourd'hui, les équipes qui ont besoin à la fois de réponses rapides et de raisonnement approfondi font tourner deux modèles, ou un routeur entre plusieurs tailles. Avec un modèle de type ELR, un seul jeu de poids suffit : chat et autocomplétion tournent sur un cycle, les tâches complexes sur quatre. Moins de checkpoints différents en mémoire, un déploiement plus simple. Le passage de 18 à 29 sur l'AA Index pour Koi-4B montre qu'un petit modèle disposant d'une marge de cycles peut se rapprocher de classes plus lourdes.

Il y a aussi des limites. Les cycles supplémentaires coûtent du calcul, et les mesures ont été réalisées par les auteurs eux-mêmes, sur deux architectures et un indice d'évaluation. Il n'existe pas encore de tests indépendants sur des charges réelles, et on ne sait pas dans quelle mesure la recette passe à l'échelle au-delà de 30B. Mais pour ceux qui arbitrent entre vitesse et qualité sur du matériel local ou dans un cloud coûteux, l'approche mérite d'être gardée sur le radar : elle supprime le principal argument contre les modèles bouclés.