Théorème no-hair pour les transformers : le prompt s'oublie en t^-α, avec α≈0,55–0,7

Que retient un transformer d'un prompt après avoir généré t tokens ? Les auteurs d'un article remonté dans les Hugging Face Daily Papers ont mesuré ce phénomène directement et obtenu une loi de puissance. La distance entre les états cachés de deux prompts différents suivis d'une même continuation décroît approximativement comme t^{-α}. L'exposant α vaut 0,55–0,7 pour les modèles entraînés et 0,2–0,5 pour les modèles non entraînés. À titre de comparaison, α=1 correspond à la vitesse à laquelle la part d'un prompt fixe dans une attention uniforme se réduit à mesure que le contexte s'allonge. Plus α est petit, plus la mémoire dure longtemps.

Comment l'oubli a été mesuré

L'expérience est simple. On prend deux prompts différents et on leur accole le même texte de continuation. Toute différence entre les états cachés à la position t ne dépend alors que du prompt, et non de ce qui a été généré ensuite. Il reste à observer comment cet écart s'estompe quand t augmente.

Le résultat n'a rien d'évident. Le réseau entraîné oublie plus vite que le réseau initialisé aléatoirement : un exposant de 0,55–0,7 contre 0,2–0,5. L'entraînement rapproche le modèle de la valeur de référence α=1, sans l'atteindre. Une part fixe du prompt dans une attention uniforme donne précisément 1/t, tandis que les modèles réels s'atténuent plus lentement.

Le théorème et ses conditions

Pour une profondeur finie L et un prompt de longueur P, les auteurs démontrent une borne O(P(log t)^{L-1}/t). Elle vaut pour les transformers pre-LN avec attention softmax lorsque les logits d'attention sont bornés, et sous une dernière condition : les activations avant normalisation ne doivent pas s'approcher de zéro. C'est cette condition qui rend le théorème conditionnel.

Le mécanisme est géométrique. L'influence directe du prompt se dilue, car l'attention se répartit sur un nombre de tokens toujours plus grand. Il existe aussi un chemin détourné, que les auteurs appellent relay (relais) : les tokens de la continuation lisent une partie du prompt et la transmettent plus loin.

Mais ce relais n'ajoute à la décroissance que des facteurs logarithmiques et ne modifie pas l'exposant. D'où le nom : par analogie avec le théorème « no-hair » des trous noirs, il reste peu d'information sur l'intérieur observable depuis l'extérieur. Si l'on fige le texte déjà généré, l'influence du prompt sur le token suivant tend vers zéro.

Tout ce qui persiste, la langue de la réponse par exemple, doit être porté par le texte lui-même.

Ce que les vérifications ont confirmé

Un modèle linéaire exactement résoluble, avec relais, montre que la borne ne peut pas être améliorée. Il reproduit aussi la hausse de l'exposant local vers 1 observée dans les réseaux non entraînés.

Une expérience de contrôle distincte ajoute aux logits un biais qui compense la dilution. En début d'entraînement, la décroissance s'arrête ; plus tard, elle s'inverse. La dilution est donc nécessaire à l'oubli mesuré. Les réseaux non entraînés et le modèle résoluble montrent qu'elle est aussi suffisante.

Les chiffres clés du travail :

• Décroissance de la distance entre états cachés : t^{-α}.
• Modèles entraînés : α≈0,55–0,7.
• Modèles non entraînés : α≈0,2–0,5.
• Référence de dilution : α=1.
• Borne démontrée : O(P(log t)^{L-1}/t), où P est la longueur du prompt et L la profondeur.
• Conditions : profondeur finie, pre-LN, softmax, logits bornés, activations éloignées de zéro.

Ce que cela change pour les ingénieurs

Le travail est théorique et ne fournit pas de recette directe pour la production. La direction est pourtant claire. Dans une génération longue, le prompt système perd son influence directe selon une loi de puissance, et le modèle ne suivra les instructions que dans la mesure où elles se sont reflétées dans le texte déjà écrit.

Il est donc utile d'ancrer les contraintes importantes dans les premiers tokens de la réponse, ou de les réinjecter périodiquement dans le contexte. Pour les concepteurs d'architectures, la conclusion est différente. Si l'on veut une mémoire durable du début du contexte, il faudra modifier l'attention elle-même, par exemple en ajoutant des biais sur les logits, comme dans l'expérience de contrôle.

C'est un problème d'ingénierie à part : le théorème décrit un transformer pre-LN standard, pas n'importe quel schéma doté de mémoire.

Une autre précaution s'impose. La borne est une borne supérieure, et les mesures portent sur les états cachés, pas sur la qualité des réponses. Reste à vérifier séparément comment α se relie au respect des instructions sur des tâches réelles.