RoPE et têtes d'attention : comment l'encodage positionnel façonne l'« empreinte » des LLM

Une équipe de chercheurs a publié sur arXiv un article qui montre comment le schéma d'encodage positionnel (RoPE, learned-absolute ou ALiBi) détermine la structure mathématique des têtes d'attention « d'induction » dans les transformers, c'est-à-dire du mécanisme qui sous-tend l'apprentissage en contexte.

Ce qui a été mesuré

Avant le softmax, le score d'attention s'exprime comme une forme bilinéaire avec une matrice entraînable M = W_q^T W_k. Cette matrice étant généralement non symétrique, son spectre de valeurs propres est complexe. C'est précisément ce spectre que les auteurs utilisent comme « empreinte » de l'organisation interne d'une tête d'attention. L'étude porte sur sept modèles préentraînés dotés de trois schémas d'encodage positionnel différents. Elle se concentre sur les têtes « previous-token » et « induction », les mécanismes qui retrouvent un token similaire antérieur et prédisent le suivant par analogie.

• Sept modèles préentraînés et trois schémas d'encodage positionnel testés : RoPE, learned-absolute, ALiBi
• La séparation des modèles par type d'encodage est exacte sur chaque tranche testée (p = 0,029)
• Sur les checkpoints de Pythia, la signature spectrale « rotationnelle » apparaît en même temps que le comportement d'induction, et non avant lui
• Sur des modèles jouets à deux couches, l'entraînement contourne l'interdiction du canal spectral, mais avec un retard (q_BH ≤ 0,016)
• Imposer la symétrie de la matrice ralentit de 2,9 fois l'entraînement des modèles à encodage learned-absolute

Ce qu'a montré l'expérience d'interdiction

Dans les têtes qui utilisent RoPE, le spectre s'est révélé « rotationnel » : mettre à zéro la composante de phase désactivait complètement l'induction de la tête identifiée au préalable, dans les trois modèles RoPE. Dans les modèles learned-absolute et ALiBi, où la position n'est pas prise en compte à l'intérieur de la matrice d'attention mais à l'extérieur, le spectre se comporte autrement : il est « sémantique », sans rotation marquée. Sur les modèles jouets, les auteurs montrent toutefois que si l'on interdit explicitement à une tête d'utiliser le canal spectral, l'entraînement trouve simplement un contournement et restaure la capacité d'induction, avec seulement un retard dans sa formation.

Ce que cela signifie

Selon ces travaux, le choix du schéma d'encodage positionnel n'est pas un détail technique : il détermine le « langage » interne avec lequel le modèle résout la tâche d'apprentissage en contexte. Pour l'interprétabilité des LLM, l'analyse spectrale des matrices d'attention peut donc servir d'outil de diagnostic. Mais l'« empreinte » spectrale elle-même est une conséquence de l'entraînement, et non une contrainte stricte sur ce que le modèle est capable d'apprendre.

Questions fréquentes

Que sont les têtes d'induction dans les transformers ?

Ce sont des têtes d'attention qui repèrent dans le contexte un token semblable au token courant et prédisent le token suivant par analogie avec ce qui suivait ce token semblable auparavant. C'est le mécanisme de base qui permet au modèle d'apprendre directement dans le contexte de la requête (in-context learning).

Quel schéma d'encodage positionnel s'est montré le plus flexible ?

RoPE. C'est le seul des trois schémas où une tête d'attention peut transmettre de l'information de manière directionnelle via le canal de phase, même si sa matrice de poids est symétrique. L'encodage learned-absolute ne conserve pas cette possibilité, ce qui explique le ralentissement de 2,9 fois de l'entraînement lorsqu'on lui impose artificiellement la symétrie.