Un PhD de Stanford dérive le Transformer à partir d'un seul problème de mémoire

Le 15 octobre, un titulaire d'un PhD en informatique de Stanford a publié un billet de blog au cadrage provocateur : si l'article « Attention Is All You Need » n'existait pas, seriez-vous capable de dériver le Transformer pas à pas à partir d'une seule question, à savoir comment faire mémoriser à une machine un maximum d'informations et retrouver n'importe quel élément à la demande ? Neuf ans après la parution de l'original, le texte s'est diffusé dans les médias tech chinois, dont Jiqizhixin. Dans l'extrait de la source dont nous disposons, le nom de l'auteur et les détails de la dérivation sont tronqués.

Ce qui suit porte donc sur ce que l'on sait de la formulation du problème elle-même et sur l'historique de la question.

Un problème plutôt qu'une architecture

On explique d'ordinaire le Transformer de haut en bas : voici le bloc d'attention, voici la couche feed-forward, voici les encodages positionnels. Le billet de blog procède de bas en haut. La formulation de départ ne contient pas le mot « attention » : il n'y a que de la mémoire et une exigence d'accès aléatoire. Si vous devez stocker beaucoup d'informations et accéder à n'importe quel fragment, un réseau récurrent doté d'un seul état caché se heurte vite à un goulot d'étranglement. Chaque accès doit passer par un état comprimé, et le gradient traverse des dizaines d'étapes.

La suite de la logique s'enchaîne presque d'elle-même. Il faut des clés, qui permettent de localiser les éléments, et des valeurs, qui sont renvoyées. Il faut une sélection souple plutôt que stricte, pour que l'apprentissage se fasse par gradient. Il faut plusieurs « requêtes » indépendantes sur la mémoire en simultané, d'où vient le multi-têtes. Il faut introduire explicitement l'ordre des éléments, puisque la récurrence a disparu. L'extrait disponible ne permet pas de confirmer les étapes concrètes de la dérivation dans le blog, mais c'est bien ce chemin que la formulation du problème suggère.

Les indices que la littérature offrait déjà

La thèse « les clés étaient sur la table » se vérifie par les dates. Bien avant 2017, les publications contenaient déjà tous les ingrédients nécessaires :

• 2014, Bahdanau et co-auteurs : attention additive dans la traduction seq2seq, où le décodeur regarde tous les états de l'encodeur.
• 2014, Graves et co-auteurs, Neural Turing Machines : mémoire externe avec adressage par le contenu, entièrement différentiable.
• 2014–2015, Memory Networks et End-to-End Memory Networks : accès souple à la mémoire en plusieurs « sauts ».
• 2015, Luong et co-auteurs : attention multiplicative (dot-product) simplifiée.
• 2015–2016 : connexions résiduelles (ResNet) et layer normalization, sans lesquelles une pile profonde ne s'entraîne pas de façon stable.

L'article original de 2017 a assemblé ces éléments et supprimé entièrement la récurrence. Ses huit auteurs ont affiché 28,4 BLEU sur WMT 2014 English-German et 41,8 BLEU sur English-French. Le grand modèle a été entraîné pendant environ 3,5 jours sur huit GPU P100, ce qui représente presque rien à l'échelle des clusters actuels.

Pourquoi ces textes circulent autant

Le format « et vous, en seriez-vous capable ? » a une valeur évidente. Il transforme l'architecture, d'artefact à mémoriser, en une chaîne de décisions d'ingénierie dont chacune répond à une contrainte précise. C'est plus utile qu'un résumé du schéma de l'article : comprendre les raisons aide quand il faut modifier un modèle plutôt que simplement exécuter un modèle existant. D'où l'intérêt : le Transformer reste le socle de presque tous les grands modèles de langage, et les discussions sur ses remplaçants (state space models, attention linéaire, hybrides) supposent de comprendre quel problème l'attention d'origine résolvait précisément.

Comment l'utiliser en pratique

Si vous travaillez avec des LLM ou comptez vous y mettre, prenez la formulation du blog comme exercice. Commencez par écrire sur papier ce que la mémoire doit faire : stocker des paires, chercher par similarité, renvoyer un mélange pondéré. Implémentez ensuite une attention à une seule tête en 30 à 50 lignes environ de PyTorch ou de NumPy, et vérifiez qu'elle fonctionne sur une tâche jouet de copie ou de recherche. Ajoutez après cela la mise à l'échelle par la racine de la dimension des clés, l'ordre via les encodages positionnels, puis plusieurs têtes. À chaque étape, retirez un composant et observez ce qui casse.

Pour les équipes qui évaluent des alternatives au Transformer, il est utile de refaire le même exercice avec le candidat : laquelle des sous-tâches (adressage, parallélisme de l'entraînement, coût du contexte) traite-t-il mieux, et qu'abandonne-t-il en échange ? Le billet de blog mérite d'être lu dans l'original : la source ne donne accès qu'à un fragment d'introduction.