First Passage Attention remplace la somme des atténuations par un extremum : passkey à 8× la longueur

Dans l'attention, les forget gates fonctionnent presque toujours comme une tirelire à pénalités : plus une clé est éloignée de la requête et plus il y a de tokens entre les deux, plus son logit est réduit. L'accumulation est monotone. Le modèle ne peut donc pas effacer un morceau du milieu tout en conservant les anciens tokens structurellement importants.

L'article First Passage Attention (FPA) propose une autre mathématique : au lieu de sommer les atténuations le long du chemin, on prend un extremum. Sur un modèle de 110M paramètres, cela donne un passkey retrieval parfait à une longueur 8 fois supérieure à celle de l'entraînement, y compris avec un KV-cache compressé à environ 25%. La perplexité reste, elle, au niveau du Forgetting Transformer (FoX).

Comment fonctionne le mécanisme

FPA repose sur un champ scalaire apprenable et sur des niveaux rattachés aux clés. Le logit d'une clé est réduit proportionnellement à la plus profonde dépression du champ sous le niveau de cette clé, sur le segment entre la clé et la requête. Le nom renvoie à la théorie des marches aléatoires, où le « premier passage » désigne le moment où une trajectoire franchit pour la première fois une frontière donnée.

La principale conséquence concerne l'ordre des événements. Si le champ s'est creusé profondément après la clé, celle-ci est pénalisée. Si la dépression était faible, ou si la clé se trouve sous son niveau, elle reste intacte. Une somme ne sait pas faire cette distinction, un extremum si. Les auteurs présentent FoX comme un cas particulier de FPA : le nouveau schéma est donc strictement plus large que l'ancien.

Si le champ et les niveaux suivent une même marche apprenable, les clés « vivantes », dont les logits ne sont pas pénalisés, forment une pile. Une nouvelle dépression évince tout ce qui se trouve au-dessus d'elle, tandis que ce qui est plus profond reste accessible. C'est proche de la structure des parenthèses ou des portées imbriquées : on ferme un bloc et on oublie son contenu, mais le contexte extérieur reste intact.

Ce que montrent les expériences

Le résultat théorique est formulé en termes de dimension de la tête. Une tête FPA de dimension constante réalise n'importe quel sous-ensemble de clés restées vivantes après des dépressions successives. Les têtes softmax avec biais positionnels et FoX avec gates au niveau des tokens exigent, pour la même chose, une dimension linéaire en le nombre de clés. C'est un gain d'expressivité à budget de paramètres fixé.

Sur des tâches synthétiques, les têtes FPA à une couche convergent vers les ensembles de clés cibles. Les baselines softmax et FoX comparables ont échoué sur chaque seed. Les auteurs ont ensuite fait passer la méthode à l'échelle d'un modèle de langage :

• taille du modèle : 110M paramètres ;
• perplexité : au niveau de FoX, sans dégradation par rapport à l'équivalent le plus proche ;
• passkey retrieval : résultat parfait à une longueur 8 fois supérieure à celle de l'entraînement, seule méthode comparée à y parvenir ;
• KV-cache : compression jusqu'à environ 25% sans perdre ce résultat ;
• synthétique : FPA converge vers les ensembles cibles avec des têtes à une couche, les baselines échouent sur chaque seed.

Ce qu'il faut en retenir en pratique

L'association « extrapolation de longueur + cache compressé » s'attaque au principal poste de dépense du contexte long, à savoir la mémoire consacrée au KV. Si la pile de clés vivantes permet d'écarter sans risque les tokens restants, on peut réduire le cache non pas avec une heuristique du type « garder les N derniers », mais avec une règle apprise par le modèle lui-même. Pour l'inférence d'agents avec de longues sessions et des tâches imbriquées, une telle structure paraît naturelle.

Trois points appellent à la prudence. Premièrement, 110M paramètres sont loin de l'échelle de production, et le comportement à plusieurs milliards de paramètres n'a pas été vérifié. Deuxièmement, le passkey retrieval reste un test simple : il montre la capacité à retrouver une seule aiguille, pas la qualité du raisonnement sur un long document. Troisièmement, le résumé de l'article ne permet pas de savoir comment FPA s'articule avec les noyaux d'attention optimisés, ni quel est son coût en vitesse d'entraînement.

Pour une équipe qui travaille sur des architectures à oubli, l'article mérite une lecture complète et une reproduction sur sa propre baseline. Le premier test est simple : comparer FPA à FoX sur des tâches à structure imbriquée et sur des longueurs plusieurs fois supérieures à celle de l'entraînement. Si le résultat se confirme sur des modèles de plusieurs milliards de paramètres, des extremums à la place des sommes pourraient devenir une composante normale de la conception des forget gates.