Fusion d'opérations et FlashAttention : comment éviter que le GPU ne reste inactif à attendre la mémoire
Lors de l'inférence, le GPU calcule souvent moins qu'il n'attend : chaque petite opération se lance séparément et écrit son résultat intermédiaire en mémoire. La fusion d'opérations regroupe ces étapes en un seul passage, à la manière d'un cuisinier qui coupe la salade dans un seul saladier plutôt que dans cinq. FlashAttention calcule l'attention par blocs et ne construit jamais en mémoire l'immense matrice T×T. Les poids et les formules restent identiques : il faut d'abord activer les backends prêts à l'emploi et profiler l'ensemble de la charge.
Traité par IA depuis Machine Learning Mastery ; édité par Hamidun News
Quand l'inférence d'un modèle de langage est plus lente qu'espéré, le premier réflexe est généralement de chercher un GPU plus puissant. Mais souvent, l'accélérateur ne calcule pas : il attend. Chaque petite opération d'une couche est lancée par un « kernel » distinct (on appelle ainsi le programme exécuté sur le GPU), et son résultat intermédiaire est écrit dans la mémoire vidéo principale, la HBM, puis relu aussitôt.
C'est comme préparer une salade en transférant chaque ingrédient coupé dans un nouveau saladier : on coupe moins qu'on ne déplace la vaisselle. La fusion d'opérations (operator fusion) regroupe plusieurs étapes en un seul passage, et FlashAttention fait de même pour le mécanisme d'attention. Les poids et les formules du modèle restent inchangés.
Adrian Tam a présenté cette couche d'optimisation dans un tutoriel publié sur Machine Learning Mastery. L'article ne contient aucune mesure de vitesse propre à l'auteur, mais il explique clairement les causes des ralentissements et les moyens de les corriger.
Pourquoi un code « correct » peut être lent
Une couche de transformeur se compose d'étapes bien connues : projections linéaires, attention, normalisation, fonctions d'activation, addition avec le signal d'origine (residual). Une implémentation directe lance un kernel distinct pour chaque étape et écrit chaque tenseur intermédiaire en mémoire. Les calculs sont justes, mais le temps passé à déplacer les valeurs et à lancer les kernels dépasse celui consacré au calcul utile.
Le bloc SwiGLU des modèles récents en est un exemple typique. Il comprend trois multiplications matricielles, une activation SiLU et une multiplication élément par élément. Chaque frontière entre opérations implique une écriture dans la HBM puis une relecture. En fusionnant SiLU avec la multiplication, un seul passage sur les données remplace deux.
D'autres opérations se prêtent à la fusion : l'addition résiduelle avec la normalisation RMSNorm ou LayerNorm, le biais avec l'activation, les embeddings positionnels (RoPE) appliqués aux requêtes et aux clés, la mise à jour du cache KV, ou encore la déquantification combinée à la multiplication matricielle. Mais la fusion a ses limites. Si la quasi-totalité du temps est consommée par une seule grande multiplication matricielle, le gain reste faible. Un kernel trop volumineux sature les registres du GPU, réduit l'occupation des unités de calcul et peut finir plus lent que plusieurs kernels bien réglés. L'auteur recommande de garder le code simple comme référence et de choisir les kernels de façon empirique, en profilant l'ensemble de la charge.
FlashAttention et cache KV paginé
L'attention naïve construit une matrice de scores Q·Kᵀ de taille T² par tête, où T est la longueur de la séquence. Écrire cette matrice en mémoire puis la relire pour le softmax consomme la bande passante, ce qui devient un goulot d'étranglement lors d'un prefill (traitement initial du prompt) long. FlashAttention contourne le problème : il traite les requêtes, les clés et les valeurs par tuiles, met à jour les statistiques du softmax et accumule le résultat dans la mémoire rapide directement sur la puce. La matrice complète n'atteint jamais la mémoire principale.
Dans PyTorch, cette fonctionnalité est accessible via scaled_dot_product_attention. Le framework choisit lui-même le backend en fonction de l'appareil, du type de données, de la forme des tenseurs et du masque. On peut imposer une priorité avec sdpa_kernel, mais une liaison rigide est risquée : si ni FlashAttention ni le backend cuDNN ne prennent en charge vos entrées ou votre matériel, le code échouera.
Il faut distinguer les phases. FlashAttention est particulièrement utile au prefill, où de nombreux tokens sont traités ensemble. Pendant le decode, où le modèle génère la réponse token par token, il n'y a qu'une ou quelques nouvelles requêtes, et le goulot d'étranglement devient plus souvent la lecture du cache KV grandissant, c'est-à-dire des données conservées sur les tokens déjà traités.
C'est là qu'intervient le paged attention. Le cache KV d'une requête grandit token par token et se termine à une longueur imprévisible. Exiger pour lui un seul bloc de mémoire continu conduit à réserver de l'espace inutilisé, et déplacer ou agrandir le cache devient coûteux.
L'approche paginée découpe la mémoire en blocs de taille fixe et conserve une table de correspondance entre blocs logiques et blocs physiques. Le kernel parcourt cette table et ne peut pas supposer que K[t+1] se trouve à côté de K[t]. Les blocs sont attribués au besoin, rendus au pool à la fin de la requête, et peuvent être partagés entre séquences ayant un préfixe commun.
Le nombre d'éléments logiques du KV ne diminue pas : le gain porte sur une fragmentation moindre et une réserve plus réduite.
Dans l'exemple avec vLLM, l'auteur fixe explicitement block_size=16 et le backend TRITON_ATTN. Le paramètre block_size ne sélectionne pas à lui seul le backend de calcul.
torch.compile et CUDA Graphs
Écrire soi-même des kernels en CUDA ou en Triton relève du travail de spécialiste. L'alternative consiste à laisser TorchDynamo capturer le graphe des opérations, puis TorchInductor, le backend par défaut de torch.compile, l'optimise : il réutilise les buffers et fusionne les opérations élément par élément compatibles en un seul kernel Triton. Mais tout ne fusionne pas. Les ruptures de graphe provoquées par des branchements dépendant des données, des opérations non prises en charge ou la conversion de tenseurs en scalaires Python découpent le modèle en plusieurs graphes.
Le mode reduce-overhead ajoute les CUDA Graphs. La fusion réduit le nombre de kernels et le trafic mémoire. Un CUDA Graph enregistre la séquence restante d'opérations GPU et la lance en une seule commande depuis le CPU, ce qui supprime les surcoûts de lancement. Cette approche convient surtout aux tâches répétitives à petit batch, comme le decode. Si les formes des requêtes changent constamment, le bénéfice diminue et la mémoire nécessaire aux buffers de travail peut augmenter.
Que faire en pratique
- Profilez l'application entière, pas un kernel isolé : un nombre réduit de kernels dans le profileur n'est qu'un indice de gain.
- Activez TORCH_LOGS=perf_hints et output_code avant le démarrage de Python pour voir quelles opérations Inductor a fusionnées.
- Vérifiez les résultats avec une tolérance adaptée à votre type de données : l'ordre des opérations change, et de légers écarts numériques sont normaux.
- Surveillez les formes dynamiques : elles déclenchent des recompilations et peuvent réduire l'effet de la fusion.
Ce texte est pédagogique et ne comporte pas de mesures propres à l'auteur, mais comme carte des causes et des remèdes, il est utile à ceux qui optimisent l'inférence avec vLLM ou PyTorch.
- 21 mai 2026FlashAttention-4 : comment Together AI a accéléré l'attention sur les GPU Blackwell
- 17 févr. 2026La bataille de la mémoire : pourquoi l'infrastructure d'IA ne se résume plus aux GPU
- 30 avr. 2026VS Code 1.111 lance Autopilot : un agent IA qui code, teste et déploie seul
- 23 mai 2026Les réseaux de neurones vont deux fois plus vite : FlashAttention-3 de NVIDIA
Questions clés sur cet article
Pourquoi un code « correct » peut être lent?
Une couche de transformeur se compose d'étapes bien connues : projections linéaires, attention, normalisation, fonctions d'activation, addition avec le signal d'origine (residual). Une implémentation directe lance un kernel distinct pour chaque étape et écrit chaque tenseur intermédiaire en mémoire. Les calculs sont justes, mais le temps passé à déplacer les valeurs et à lancer les kernels dépasse celui consacré au calcul utile. Le bloc SwiGLU des modèles récents en est un exemple typique.
Que sait-on sur FlashAttention et cache KV paginé ?
L'attention naïve construit une matrice de scores Q·Kᵀ de taille T² par tête, où T est la longueur de la séquence. Écrire cette matrice en mémoire puis la relire pour le softmax consomme la bande passante, ce qui devient un goulot d'étranglement lors d'un prefill (traitement initial du prompt) long. FlashAttention contourne le problème : il traite les requêtes, les clés et les valeurs par tuiles, met à jour les statistiques du softmax et accumule le résultat dans la mémoire rapide directement sur la puce.
Que sait-on sur torch.compile et CUDA Graphs ?
Écrire soi-même des kernels en CUDA ou en Triton relève du travail de spécialiste. L'alternative consiste à laisser TorchDynamo capturer le graphe des opérations, puis TorchInductor, le backend par défaut de torch.compile, l'optimise : il réutilise les buffers et fusionne les opérations élément par élément compatibles en un seul kernel Triton. Mais tout ne fusionne pas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.