Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
Techniques et méthodesGlossaire

Mécanisme d'Attention

Le mécanisme d'attention est un composant de réseau de neurones qui permet à un modèle de pondérer dynamiquement la pertinence de différentes positions d'entrée lors du calcul de chaque sortie, permettant un traitement sensible au contexte sur des séquences de longueur arbitraire.

Mécanisme d'Attention
Mécanisme d'Attention · Techniques et méthodes · Hamidun News

Le mécanisme d'attention est un composant de réseau de neurones qui permet à un modèle d'assigner dynamiquement différents poids d'importance à différentes positions de sa séquence d'entrée lors du calcul de chaque élément de sa sortie. Plutôt que de s'appuyer sur une représentation de goulot d'étranglement de taille fixe de tout le contexte passé, comme les réseaux de neurones récurrents doivent le faire, l'attention permet au modèle d'accéder directement et de se concentrer sur n'importe quelle partie de l'entrée à n'importe quel pas, indépendamment de la distance positionnelle.

Dans la formulation introduite par Vaswani et al. dans « Attention Is All You Need » (2017), chaque opération d'attention calcule trois projections apprises de l'entrée : Queries (Q), Keys (K), et Values (V). Le produit scalaire normalisé de Q et K produit les scores d'attention bruts ; une softmax les convertit en distribution de probabilité sur les positions d'entrée ; la sortie est une somme pondérée des vecteurs V, se concentrant sur les positions les plus pertinentes pour la requête actuelle. L'attention multi-tête exécute ce calcul en parallèle sur plusieurs sous-espaces appris et concatène les résultats, permettant au modèle de faire attention à des informations de différentes perspectives de représentation — structure syntaxique dans une tête, relations de coréférence dans une autre, par exemple. L'empilement de nombreuses couches d'attention de ce type forme l'architecture Transformer.

L'attention a résolu le problème de dépendances à longue portée qui avaient limité les modèles récurrents : la longueur du chemin d'information entre deux positions quelconques est O(1) opérations au lieu de O(n), rendant simple pour le modèle de corréler des tokens à des milliers de positions d'écart. L'architecture est également entièrement parallélisable sur la dimension de séquence pendant l'entraînement, contrairement au calcul récurrent, ce qui a permis les grandes séries d'entraînement qui ont produit les modèles de fondation modernes.

À partir de 2026, chaque grand modèle de langage de frontière — GPT-4o (OpenAI), Claude 3.x (Anthropic), Gemini 1.5 et 2.0 (Google), Llama 3 (Meta), et Mistral — est construit sur l'attention Transformer. Les efforts d'ingénierie se sont concentrés sur l'efficacité : Flash Attention (Dao et al., 2022) et ses successeurs ont réduit les exigences de bande passante mémoire d'un ordre de magnitude, permettant des fenêtres de contexte pratiques de 128K–1M tokens. L'attention clairsemée, l'attention fenêtrée glissante (utilisée dans Mistral), et les architectures hybrides attention-SSM telles que Mamba et Jamba représentent des directions de recherche actives cherchant à étendre le débit et la longueur du contexte au-delà de ce que l'attention dense auto-attentionnelle permet.

Exemple

“Quand un LLM traduit la phrase « Le trophée n'a pas pu être mis dans la valise parce qu'il était trop volumineux », le mécanisme d'attention attribue des poids élevés à « trophée » lors de la résolution du pronom « il », déduisant correctement que le trophée — et non la valise — était trop volumineux.
ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent