LLM hybrides : les couches récurrentes étouffent l'attention, l'entraînement par étapes y remédie

Les modèles de langage hybrides, qui associent récurrence linéaire et softmax attention, s'entraînent autrement que ne le supposaient leurs concepteurs. Les auteurs de l'article Competing Learning in Hybrid Architectures montrent que des couches de types différents se disputent une même fonction. La couche qui l'a apprise la première étouffe le signal d'apprentissage des autres. En règle générale, c'est la récurrence qui l'emporte, et l'attention reste sans compétence de retrieval. Arrêter la mise à jour des poids des couches récurrentes en milieu d'entraînement remet l'attention dans la partie. Sur des modèles allant jusqu'à 1B de paramètres, le schéma par étapes a amélioré la language modeling loss, le common-sense reasoning et les tâches de retrieval sur différentes longueurs de contexte.

Où se situe le conflit

Les hybrides plaisent parce qu'ils offrent un compromis. Les couches récurrentes modernes assurent un mélange de tokens expressif et un débit élevé, car elles compressent le contexte dans un état de taille fixe. Le prix à payer est connu : pour extraire une information précise du contexte, elles font moins bien que le softmax attention, qui accède directement aux tokens. L'idée de l'hybride consiste à garder l'attention là où une recherche exacte est nécessaire, et à confier le reste du travail à une récurrence peu coûteuse.

Selon les auteurs, cette logique se grippe à l'entraînement. Une layer attribution analysis montre que, avec les distributions de données habituelles, la récurrence moderne apprend les fonctions de retrieval plus vite que l'attention. Quand une couche a déjà appris une fonction, le signal d'apprentissage des autres couches pour cette fonction est supprimé. Résultat : dans la plupart des cas, l'attention n'apprend jamais à chercher. L'architecture reste hybride sur le papier, mais la couche pour laquelle elle a été conçue ne remplit pas son rôle.

L'entraînement par étapes

Le test est simple. Si l'on arrête la mise à jour des poids des couches récurrentes au milieu de l'entraînement, l'attention a le temps d'apprendre le retrieval. Cette observation sert de base à une staged training procedure pour le pré-entraînement d'hybrides sur du langage naturel : on laisse d'abord la récurrence travailler, puis on lui retire la main pour laisser la place à l'attention.

Le résumé de l'article ne donne aucun détail : à quel moment geler les couches, comment les étapes sont organisées, ce qu'il advient de la récurrence après le gel. Or ces paramètres déterminent si la méthode est reproductible, et il faudra les chercher dans le texte intégral de l'article.

• Échelle de l'expérience : modèles jusqu'à 1B de paramètres.
• Phénomène : Competing Learning, la compétition des mixers pour une même fonction.
• Outil de diagnostic : layer attribution analysis.
• Méthode : arrêt des mises à jour des couches récurrentes en milieu d'entraînement.
• Métriques : language modeling loss, common-sense reasoning, tâches de retrieval sur différentes longueurs de contexte.
• Le résumé ne donne aucun gain chiffré, il annonce seulement une « amélioration substantielle ».

Que vérifier en pratique

Les équipes qui pré-entraînent leurs propres hybrides gagneraient à vérifier si leur couche d'attention fonctionne bien pour le retrieval. Une analyse d'attribution et une ablation avec gel des couches récurrentes à différentes étapes s'y prêtent. Les tests d'extraction depuis le contexte doivent tourner sur plusieurs longueurs, et non sur une seule. La comparaison « hybride contre récurrence pure » peut masquer le problème : l'attention est formellement présente, mais n'apporte aucune contribution à la recherche.

Le résultat a ses limites. 1B de paramètres est très loin des tailles auxquelles on entraîne les modèles commerciaux actuels. On ignore si l'effet persiste à des dizaines de milliards de paramètres et sur d'autres mélanges de données. Le gain annoncé n'est pas, pour l'instant, étayé par des chiffres dans la description disponible. Le diagnostic reste toutefois utile : si les couches s'évincent mutuellement, ajuster la proportion de couches récurrentes et de couches d'attention ne suffit pas à résoudre le problème, il faut piloter l'ordre dans lequel elles sont entraînées.