ResonatorLM apprend à lire sa mémoire en fonction du token : la perplexity à 1024 tombe de 12,81 à 3,76

Des chercheurs proposent un petit correctif pour ResonatorLM, un modèle à état de taille fixe qui lit sa mémoire dans un banc d'oscillateurs complexes amortis. La phase de lecture, auparavant constante pour chaque tête, devient une fonction du token courant. Cela ajoute 0,2% de paramètres. Dans les expériences menées sur des modèles de 6 M de paramètres au niveau caractère (WikiText-2), la qualité à la longueur d'entraînement ne change pas. En revanche, avec un entraînement sur 256 tokens et un test sur 1024, la perplexity passe de 12,81 à 3,76.

Le dilemme à l'origine du travail

Les modèles à état de taille fixe évitent le coût quadratique de l'attention, mais imposent un arbitrage. Si la transition d'état dépend de l'entrée, la mémoire devient sensible au contenu. Le prix à payer : l'entraînement par FFT ne peut plus s'appliquer tel quel. Si la transition est fixe, le chemin convolutif en O(T log T) est conservé, mais la mémoire est lue de la même façon quelle que soit l'entrée.

ResonatorLM relève de la seconde catégorie. Chaque tête lit le banc d'oscillateurs via une phase fixe apprise. Les auteurs du nouveau travail laissent la transition telle quelle et ne modifient que la lecture : la phase est désormais calculée à partir du token courant. La dépendance à l'entrée n'apparaît qu'à l'étape de lecture. La convolution reste donc exacte, et l'entraînement suit le même schéma qu'avant.

Ce que montre l'analyse du banc non entraîné

Avant les expériences, les auteurs ont analysé le banc d'oscillateurs sans entraînement. La phase encode bien le temps écoulé. Mais la mémoire s'avère courte : un token ordinaire passe sous le niveau de bruit de fond en 2–8 pas. Aucun choix d'amortissement ne permet d'étendre la reconstruction linéaire au-delà d'environ 16 tokens.

Les chiffres clés du travail :

• Surcoût en paramètres : 0,2%.
• Échelle des modèles : 6 M de paramètres, niveau caractère, WikiText-2.
• Entraînement sur 256 tokens, test sur 1024 : perplexity de 12,81 pour le modèle d'origine, contre 3,76 pour la variante à phase dépendante de l'entrée.
• À la longueur d'entraînement, les résultats sont identiques à ceux de l'original.
• Horizon de reconstruction linéaire dans le banc non entraîné : jusqu'à ~16 tokens.
• Un token passe sous le niveau de bruit de fond en 2–8 pas.

D'où vient l'effondrement au-delà de la longueur d'entraînement

La principale conclusion du diagnostic concerne les têtes à mémoire longue (long-memory). Elles accumulent plus d'historique que pendant l'entraînement et, sur les entrées longues, lisent l'état dans un régime que le modèle n'a jamais rencontré. D'où la dégradation du ResonatorLM d'origine dès qu'il dépasse la longueur d'entraînement. La dépendance de la phase à l'entrée corrige ce défaut : l'écart entre 12,81 et 3,76 donne la mesure du problème.

Le mécanisme s'avère toutefois plus modeste qu'on pourrait l'attendre. La phase apprise suit le caractère courant, et non la distance aux tokens passés, et la qualité du retrieval n'augmente pas. Autrement dit, le modèle n'a pas appris à extraire plus précisément le bon fragment du passé. Il a simplement cessé de se dégrader lorsque l'historique accumulé dépasse celui de l'entraînement.

À qui cela peut servir

Pour ceux qui travaillent avec des modèles d'état convolutifs à transition fixe, la conclusion est pratique : il faut tester séparément l'extrapolation en longueur. Il suffit d'entraîner le modèle sur un contexte court et de comparer la perplexity sur un contexte 4 fois plus long. Un écart de cette ampleur peut se cacher derrière de bonnes métriques à la longueur d'entraînement. Un diagnostic des têtes à mémoire longue, comme dans ce travail, aide à en trouver la cause.

Le travail a aussi ses limites. Les expériences portent sur des modèles de 6 M de paramètres, au niveau caractère et sur un seul jeu de données. Le passage à des modèles par tokens de plusieurs milliards de paramètres reste à vérifier. Le retrieval ne progresse pas : pour les tâches d'extraction précise dans le contexte, la méthode n'est pas une solution. Comme assurance bon marché pour les entrées longues, avec un coût quasi nul en paramètres, elle paraît en revanche convaincante.