Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

La position du token retrouvée à 99% dans un transformeur NoPE, mais à 29–42% dans RWKV-7

L'auteur a entraîné 12 petits modèles — RWKV-7, des transformeurs avec RoPE et des transformeurs sans encodage positionnel (NoPE) — et a testé chaque couche avec une sonde linéaire. La sonde retrouve le rang du token dans le texte à 99% (R²) dans NoPE, à 38–51% dans RoPE et à 29–42% dans RWKV-7. À loss égal, la syntaxe et le sens se lisent de façon similaire dans tous les modèles. Il faut donc comparer les modèles à loss identique : sinon, la « victoire » vient simplement d'une erreur plus faible, pas de l'architecture.

Traité par IA depuis Habr AI ; édité par Hamidun News
La position du token retrouvée à 99% dans un transformeur NoPE, mais à 29–42% dans RWKV-7
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1RWKV-7 termine avec un loss inférieur de 0,10–0,13 à celui de RoPE : les checkpoints finaux ne sont pas comparables
Chiffre clé #2Le pic des sondes syntaxiques arrive 1 à 4 couches plus tôt chez RWKV — ce n'est pour l'instant qu'une piste
Chiffre clé #3Le code et les checkpoints du seed 0 (86,5 Go) sont ouverts, sous licence Apache 2.0

Imaginez que vous compariez deux versions d'une configuration RAG et que la nouvelle réponde plus précisément. Inutile de se réjouir trop vite : elle a peut-être simplement été « entraînée » plus longtemps et paraît donc meilleure sur n'importe quelle métrique, sans que l'idée testée y soit pour quoi que ce soit. C'est exactement le problème qu'a rencontré un chercheur indépendant en comparant l'architecture RWKV-7 (un modèle récurrent sans mécanisme d'attention) à des transformeurs classiques.

Il a entraîné 12 petits modèles ne différant que par leur architecture, puis inspecté chaque couche de chaque checkpoint. Principal résultat : à cette échelle, c'est la façon de stocker la position du token, c'est-à-dire le rang du mot dans le texte, qui distingue le plus les architectures. Pour la grammaire et le sens, à erreur d'entraînement (loss) identique, les modèles se ressemblent.

Les chiffres du titre, 99% et 29–42%, correspondent à la métrique R² (la précision avec laquelle un modèle simple devine le rang du token à partir de l'état caché d'une couche ; 100% = parfait).

Ce qui a été comparé, et comment

L'auteur a retenu trois façons de donner à un modèle l'ordre des mots. RWKV-7 conserve un état récurrent, et l'ordre est intégré à la manière dont cet état se met à jour. Le transformeur avec RoPE reçoit la position en faisant tourner les requêtes et les clés au sein de l'attention. Le transformeur NoPE n'a aucun encodage positionnel : sa seule source d'information sur l'ordre est le masque causal, c'est-à-dire l'interdiction de regarder les mots situés plus loin.

Il y a deux tailles (56,6M et 115M de paramètres), deux langues (russe et anglais) et 1 à 2 milliards de tokens par modèle. Le corpus est composé à environ 76% de Wikipédia. Pour chaque entraînement, 21 checkpoints ont été sauvegardés, et 9 des 12 entraînements disposent d'un second seed d'initialisation.

L'outil, ce sont les sondes linéaires. Il s'agit d'un modèle simple qui, à partir de l'état caché figé d'un token, tente de deviner une propriété : numéro de position, rôle dans la phrase, cas, temps du verbe, tonalité. Si la sonde y parvient, l'information est « à portée de main » dans la couche. Précision de l'auteur : la sonde montre ce qui est lisible, pas ce que le modèle utilise réellement.

La position est stockée différemment

La meilleure couche de NoPE atteint un R² de 99%, contre 38–51% pour RoPE et 29–42% pour RWKV-7. Cet ordre est le même pour les deux langues, les deux tailles et tous les seeds. NoPE atteint un R² d'environ 98% dès la troisième couche et se maintient à 85% au minimum jusqu'à la 11e, avant de chuter à 22–44% sur la dernière.

Un détail curieux : même un transformeur initialisé aléatoirement lit la position avec un R² de 44–56%, car le seul masque causal fournit déjà un signal. Chez RoPE, cet indicateur baisse au cours de l'entraînement : de 51% à 38% sur le modèle russe de 56,6M. L'auteur suppose que, puisque la position est injectée directement dans l'attention, il n'y a plus de raison de la conserver dans le flux résiduel, mais il ne l'a pas vérifié.

La profondeur d'un mot dans l'arbre de dépendances montre le même classement, avec un écart bien plus faible : 2–6 points de pourcentage. Cette profondeur est liée au rang du mot dans la phrase ; l'auteur y voit donc le même effet, et non une découverte distincte.

Pourquoi comparer à loss égal

Le val-loss final de RWKV-7 est inférieur de 0,10–0,13 à celui de RoPE. Comparer les checkpoints finaux n'est donc pas équitable : le modèle à l'erreur la plus faible paraît « plus intelligent » à presque toutes les sondes. Exemple : en fin d'entraînement, RWKV distingue mieux les homonymes russes (87,6% contre 81,9%), mais à loss égal, cet écart se réduit ou disparaît. L'auteur a donc interpolé les résultats des sondes en fonction du loss entre les 21 checkpoints et comparé les architectures à quatre niveaux de loss. Une différence n'était jugée robuste que si elle se retrouvait dans les deux seeds, avait le même signe à tous les niveaux et dépassait la dispersion entre seeds.

Les autres différences sont minimes : 0,3–3 points de pourcentage. NoPE est légèrement plus faible sur le rôle du mot dans la phrase, le temps et l'aspect du verbe (de 0,4–2,3 points), tandis qu'entre RWKV et RoPE, il n'y a pratiquement aucune différence. Dans les modèles anglais, RWKV dépasse légèrement NoPE sur les homonymes et la tonalité, mais les jeux de données sont minuscules (16 mots par sens) et l'auteur juge le signal faible.

Il y a aussi une piste : le pic des sondes syntaxiques de RWKV se situe 1 à 4 couches plus bas que chez les transformeurs. Mais les courbes sont plates autour du maximum, et la dispersion du numéro de couche entre seeds n'a pas été estimée.

Que faire en pratique

La leçon est avant tout méthodologique. Lorsque vous comparez des architectures, des checkpoints ou des configurations, fixez le loss plutôt que le nombre de pas ou la taille du modèle, et ne croyez pas à l'affirmation « l'architecture X comprend mieux Y » sans ce contrôle.

Les limites sont sérieuses : les modèles sont petits, il n'y a que deux seeds et ils ne font varier que l'initialisation, l'ordre des données n'a pas été modifié, les tests sémantiques ont été écrits par l'auteur lui-même, et la fuite de données n'a été vérifiée que pour la syntaxe russe. Le résultat ne dit rien des modèles plus grands que 115M ni de celui qui exploite le mieux la position.

Tout est ouvert : le code des sondes et les résultats sont sur GitHub sous licence Apache 2.0, et les 21 checkpoints de chacun des 12 entraînements du seed 0 (86,5 Go) sont sur Hugging Face. Le code d'entraînement et les configurations ne sont pas encore publiés : on peut donc reproduire les sondes tout de suite, mais pas l'entraînement.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été comparé, et comment ?

L'auteur a retenu trois façons de donner à un modèle l'ordre des mots. RWKV-7 conserve un état récurrent, et l'ordre est intégré à la manière dont cet état se met à jour. Le transformeur avec RoPE reçoit la position en faisant tourner les requêtes et les clés au sein de l'attention. Le transformeur NoPE n'a aucun encodage positionnel : sa seule source d'information sur l'ordre est le masque causal, c'est-à-dire l'interdiction de regarder les mots situés plus loin.

Que sait-on sur La position est stockée différemment ?

La meilleure couche de NoPE atteint un R² de 99%, contre 38–51% pour RoPE et 29–42% pour RWKV-7. Cet ordre est le même pour les deux langues, les deux tailles et tous les seeds. NoPE atteint un R² d'environ 98% dès la troisième couche et se maintient à 85% au minimum jusqu'à la 11e, avant de chuter à 22–44% sur la dernière. Un détail curieux : même un transformeur initialisé aléatoirement lit la position avec un R² de 44–56%, car le seul masque causal fournit déjà un signal.

Pourquoi comparer à loss égal?

Le val-loss final de RWKV-7 est inférieur de 0,10–0,13 à celui de RoPE. Comparer les checkpoints finaux n'est donc pas équitable : le modèle à l'erreur la plus faible paraît « plus intelligent » à presque toutes les sondes. Exemple : en fin d'entraînement, RWKV distingue mieux les homonymes russes (87,6% contre 81,9%), mais à loss égal, cet écart se réduit ou disparaît.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…