Moonshot AI dévoile Attention Residuals, une alternative aux connexions résiduelles des transformers

Moonshot AI a publié Attention Residuals, une évolution architecturale des transformers qui modifie l'un des éléments les plus fondamentaux du modèle : les connexions résiduelles. Au lieu d'additionner de façon fixe les sorties de toutes les couches précédentes, l'équipe propose une depth-wise attention, afin que le modèle décide lui-même quelles représentations de la profondeur du réseau lui sont réellement utiles.

Où se situe le goulot d'étranglement

Dans la plupart des LLM actuels, chaque nouvelle couche ne se contente pas de traiter son entrée : elle ajoute son résultat à l'état caché commun. Ce schéma, hérité de l'approche résiduelle et particulièrement répandu dans les architectures PreNorm, permet d'entraîner des réseaux profonds sans effondrement des gradients. Mais il a un prix : toutes les représentations précédentes sont mélangées avec le même poids, et leur contribution se dilue avec le temps. À mesure que la profondeur augmente, les états cachés croissent à peu près linéairement, et les signaux précoces deviennent de plus en plus difficiles à extraire sous une forme exploitable.

Moonshot AI parle d'un problème de depth-wise aggregation : les modèles ont bien appris à choisir les tokens importants le long de la séquence et à router les experts dans les MoE, mais sur la profondeur du réseau, ils reposent toujours sur une somme fixe. Les chercheurs établissent un parallèle direct avec l'époque des RNN : la séquence était alors elle aussi compressée dans un seul état, jusqu'à ce que l'attention donne à chaque token accès à toutes les étapes précédentes. Ici, il s'agit de faire presque la même chose, non pas dans le temps, mais à travers les couches.

Comment fonctionne AttnRes

Dans Attention Residuals, chaque couche reçoit non pas la somme générale de toutes les sorties précédentes, mais une combinaison pondérée des représentations antérieures via une softmax-attention. Le poids dépend de la couche elle-même et des données d'entrée : le réseau peut ainsi amplifier les signaux utiles et atténuer le bruit, au lieu de tout hériter à égalité.

La variante pratique utilise un mécanisme très léger : un vecteur de pseudo-requête apprenable par couche. L'idée apparaît ainsi moins comme une refonte radicale du transformer que comme un remplacement relativement compact du schéma résiduel habituel.

La version complète d'AttnRes exige de stocker tous les états précédents ; pour les grands modèles, Moonshot AI propose donc Block AttnRes. Les couches sont réparties en blocs ; l'accumulation classique subsiste à l'intérieur d'un bloc, tandis que l'attention s'applique entre les représentations de synthèse des blocs. D'après l'équipe, une configuration d'environ huit blocs conserve l'essentiel du gain de la version complète, réduit les besoins en mémoire et en communication de O(Ld) à O(Nd) et maintient la latence supplémentaire à l'inférence sous les 2 %.

Ce que montrent les tests

Moonshot AI a éprouvé l'approche non seulement dans des expériences de lois d'échelle, mais aussi sur le grand modèle préentraîné Kimi Linear, doté de 48 milliards de paramètres dont 3 milliards activés, après un entraînement sur 1,4 billion de tokens. La thèse centrale : Block AttnRes atteint la même fonction de perte que le modèle de référence entraîné avec un budget de calcul 1,25 fois supérieur. Autrement dit, il ne s'agit pas d'un réglage cosmétique, mais d'un passage à l'échelle potentiellement plus rentable.

• GPQA-Diamond : 36.9 → 44.4
• HumanEval : 59.1 → 62.2
• MMLU : 73.5 → 74.6
• C-Eval : 79.6 → 82.5
• Latence à l'inférence : moins de 2 %

La dynamique d'entraînement mérite une mention à part. Dans son rapport, l'équipe écrit qu'AttnRes atténue l'effet de PreNorm dilution : l'amplitude des états cachés ne s'envole pas avec la profondeur, et les normes des gradients se répartissent plus uniformément entre les couches. En pratique, cela signifie un entraînement plus maîtrisable et moins de risques qu'une partie de la profondeur du modèle serve de lest coûteux mais peu utile. Les gains les plus nets concernent le raisonnement multi-étapes et la génération de code, ce qui rend ces travaux particulièrement intéressants pour les futurs LLM et systèmes d'agents.

Ce que cela signifie

Ce n'est ni un nouveau chatbot ni une fonctionnalité grand public, mais une tentative de réécrire l'une des briques de base des transformers. Si les résultats de Moonshot AI se confirment sur d'autres architectures et dans des piles industrielles, la course à la qualité des LLM passera de plus en plus non seulement par davantage de données et de GPU, mais aussi par une mécanique interne plus intelligente des modèles eux-mêmes.