Quanta Magazine explore pourquoi l'attention est devenue le cœur des LLM depuis l'article de 2017

Huit auteurs, un article de 2017 et une formule tenant en une ligne : softmax(QK^T/√d)V. Cette opération sous-tend la plupart des grands modèles de langage. La chronique de Quanta Magazine datée du 12 octobre 2026 pose la question : pourquoi l'attention s'est-elle révélée la clé du traitement du langage à grande échelle, et peut-on y voir l'essence de l'intelligence ?

L'annonce de la chronique ne donne pas de réponse, seulement la formulation de la question. Nous détaillons donc ci-dessous le contexte technique dans lequel ce débat se déroule. Les conclusions de l'auteur sont à lire dans l'original.

D'où vient la formule

L'idée d'attention est plus ancienne que le transformer. En 2014, Bahdanau, Cho et Bengio ont appliqué un mécanisme similaire dans un modèle récurrent de traduction automatique : à chaque mot généré, le décodeur pouvait « jeter un œil » à différentes parties de la phrase source. Le réseau récurrent restait alors le socle du modèle, et l'attention n'en était qu'une surcouche.

En 2017, les auteurs d'Attention Is All You Need, chez Google, ont supprimé entièrement la récurrence. Il reste des couches où chaque token construit une requête (query), la compare aux clés (keys) de tous les autres tokens et récupère la somme pondérée de leurs valeurs (values). Sur la tâche de traduction WMT 2014, la grande version du modèle a obtenu 28,4 BLEU pour la paire anglais-allemand et 41,8 pour anglais-français.

Pourquoi l'attention passe à l'échelle

Son principal avantage : toute la séquence est traitée en parallèle. Un réseau récurrent lit le texte pas à pas, et les GPU restent sous-utilisés pendant ce temps. L'attention se ramène à de grosses multiplications matricielles, pour lesquelles les accélérateurs modernes sont conçus. Plus de données, plus de paramètres, plus de puces : ce schéma a apporté des gains de qualité de façon prévisible.

La seconde raison tient à la flexibilité. Les poids d'attention sont calculés à partir de l'entrée elle-même. Le lien entre un mot situé au début d'un paragraphe et un mot situé à la fin ne s'estompe donc pas en chemin, comme c'était le cas dans les anciennes architectures récurrentes.

Les chiffres clés du travail d'origine :

• 8 auteurs, conférence NeurIPS 2017 ;
• modèle de base : environ 65 millions de paramètres, entraînement d'environ 12 heures sur 8 GPU NVIDIA P100 ;
• grand modèle : environ 213 millions de paramètres, 3,5 jours sur les mêmes 8 GPU ;
• résultat : 28,4 BLEU (EN→DE) et 41,8 BLEU (EN→FR) ;
• à titre de comparaison, GPT-3 comptait en 2020 175 milliards de paramètres et un contexte de 2048 tokens.

Le prix de l'universalité

L'attention a un point faible : chaque token est comparé à tous les autres. Le temps de calcul et la mémoire croissent proportionnellement au carré de la longueur du contexte. Si l'on double le contexte, le calcul est multiplié par quatre sur cette partie.

L'industrie répond par l'ingénierie. FlashAttention (2022) ne change pas les mathématiques : il réorganise l'utilisation de la mémoire du GPU et fournit un résultat exact, plus rapidement. En parallèle, l'attention parcimonieuse et l'attention linéaire se développent, de même que les hybrides avec des modèles d'espace d'états. Ces approches économisent du calcul, mais sont souvent moins performantes que l'attention classique sur les tâches complexes.

Comment lire ce débat en pratique

L'affirmation « l'attention est l'essence de l'intelligence » gagne à être scindée en deux. La première est vérifiable : l'attention s'est révélée une primitive de calcul exceptionnellement efficace pour l'entraînement sur des textes. La seconde est philosophique : ce qu'il faut en conclure pour la compréhension de l'esprit reste un sujet de discussion, et Quanta la place dans son titre.

Pour les ingénieurs, la conclusion est terre à terre. Si vous choisissez une architecture ou évaluez une infrastructure, ne comptez pas seulement les paramètres, mais aussi la longueur du contexte : la part quadratique détermine le coût des requêtes longues, des pipelines RAG et des agents dotés d'une grande mémoire. Si vous suivez la recherche, intéressez-vous aux travaux qui comparent les alternatives à l'attention avec le transformer à budget de calcul identique. Pour l'instant, c'est le transformer qui reste le point de référence.