LexFrame lit les états cachés des LLM : cohérence de 0,97 contre un plafond de 0,30 pour les lentilles

Des chercheurs proposent de lire les états cachés d'un modèle de langage comme le modèle les lit lui-même. La méthode s'appelle Lexical Reference Frames. Sur SmolLM3-3B et OLMo3-7B, à mi-profondeur, toute lentille dont les directions sont fixes pour chaque couche est plafonnée à 0,30 et 0,35. Le premier ordre de la méthode, LexFrame[1], atteint une cohérence de 0,97 sur les deux modèles. L'état ainsi lu s'écarte de la sortie réelle du modèle d'au plus 0,16 nat.

Pourquoi les lentilles fixes butent sur un plafond

Le vocabulaire du modèle définit sa sémantique native. L'embedding et l'unembedding déterminent le sens de l'état aux deux extrémités du residual stream. Entre les deux, les approches existantes se répartissent en deux camps. Les unes prennent une lentille fixe et appliquent les mêmes directions aux états d'une couche donnée. Les autres traitent les états comme un nuage de points et y cherchent une structure. Selon les auteurs, aucune des deux ne lit l'état comme le fait le modèle.

Leur argument : chaque état caché possède son propre système de référence. Il est défini par les couches qui liront cet état ensuite, et il s'adapte au contexte. Une lentille fixe perd forcément cette dépendance au contexte, puisque ses directions sont définies à l'avance. D'où une borne formelle : une lentille à directions fixes par couche ne peut pas dépasser la racine carrée de la cohérence du frame natif. À mi-profondeur, cela donne 0,30 pour SmolLM3-3B et 0,35 pour OLMo3-7B.

Comment fonctionne LexFrame

Un lexical reference frame approche le système de référence natif. L'état traverse les couches restantes du modèle lui-même. Un nombre donné de tours d'attention est effectué entre les positions, et pour les autres contributions, on substitue une sortie d'attention typique. Il n'y a pas d'ajustement sur la sortie du modèle : les coefficients ne sont pas entraînés sur ses prédictions. Dans la notation LexFrame[1], l'indice correspond, d'après la description, au nombre de tours d'attention : il s'agit donc d'un frame de premier ordre.

Le résultat est lu dans une base lexicale, c'est-à-dire en termes de tokens du vocabulaire. Chaque état intermédiaire reçoit ainsi une interprétation dans les mêmes unités que celles dans lesquelles le modèle produit sa réponse.

Ce que montrent les mesures

Les auteurs ont comparé LexFrame[1] à des lentilles et à l'attribution patching sur deux modèles. Les résultats annoncés sont les suivants :

• cohérence de LexFrame[1] à mi-profondeur : 0,97 pour SmolLM3-3B et 0,97 pour OLMo3-7B ;
• plafond pour toute lentille à directions fixes : 0,30 et 0,35 ;
• écart avec la sortie du modèle : dans la limite de 0,16 nat ;
• l'attribution des prédictions par les coefficients du frame est plus précise que celle de l'attribution patching ;
• l'early exit fondé sur les lectures confiantes permet de sauter 0,45 des couches pour SmolLM3-3B et 0,42 pour OLMo3-7B, alors que les lentilles n'en sautent presque aucune.

Les auteurs précisent par ailleurs que la base lexicale permet de piloter la prédiction sans toucher aux autres tokens. Elle se distingue ainsi d'un décalage grossier des activations, qui étale généralement toute la distribution.

À quoi cela peut servir en pratique

Pour l'interprétabilité, l'essentiel est qu'un seul outil résout trois tâches : lecture de l'état, attribution et pilotage. Jusqu'ici, elles reposaient sur des méthodes différentes, avec des hypothèses différentes.

Pour l'inférence, c'est l'early exit qui est le plus intéressant. Si la lecture confiante à une couche intermédiaire coïncide avec la réponse du modèle, il est possible de ne pas calculer les couches restantes. D'après les chiffres annoncés, cela représente près de la moitié de la profondeur sur les deux modèles testés.

En production, une telle économie compte, mais le travail comporte des réserves. Les auteurs n'ont testé que des modèles de 3B et 7B, et la qualité en early exit est mesurée, dans l'abstract, par la proximité avec la sortie du modèle, et non par des métriques de tâches de bout en bout. Avant de compter sur une accélération dans un service réel, il faut examiner le code et observer le comportement de la méthode sur des modèles plus gros et des contextes plus longs.

Les chercheurs en sécurité et en débogage auraient intérêt à regarder de près le pilotage ciblé. Si la base lexicale modifie réellement une seule prédiction sans toucher aux tokens voisins, elle peut servir à des corrections locales du comportement et à tester des hypothèses causales sur la manière dont le modèle parvient à sa réponse.