Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarMachine Learning Mastery→ original

Fusion d'opérations et FlashAttention : comment éviter que le GPU ne reste inactif à attendre la mémoire

Lors de l'inférence, le GPU calcule souvent moins qu'il n'attend : chaque petite opération se lance séparément et écrit son résultat intermédiaire en mémoire. La fusion d'opérations regroupe ces étapes en un seul passage, à la manière d'un cuisinier qui coupe la salade dans un seul saladier plutôt que dans cinq. FlashAttention calcule l'attention par blocs et ne construit jamais en mémoire l'immense matrice T×T. Les poids et les formules restent identiques : il faut d'abord activer les backends prêts à l'emploi et profiler l'ensemble de la charge.

Traité par IA depuis Machine Learning Mastery ; édité par Hamidun News
Fusion d'opérations et FlashAttention : comment éviter que le GPU ne reste inactif à attendre la mémoire
Source : Machine Learning Mastery. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMachine Learning Mastery ↗
Rédacteur en chef
Chiffre clé #1Le paged attention réduit la fragmentation du cache KV grâce à des blocs de 16 tokens
Chiffre clé #2FlashAttention aide surtout pendant le prefill ; pendant le decode, c'est la lecture du cache KV qui compte le plus
Torch.compile n'accélère pas toujoursles ruptures de graphe empêchent la fusion

Quand l'inférence d'un modèle de langage est plus lente qu'espéré, le premier réflexe est généralement de chercher un GPU plus puissant. Mais souvent, l'accélérateur ne calcule pas : il attend. Chaque petite opération d'une couche est lancée par un « kernel » distinct (on appelle ainsi le programme exécuté sur le GPU), et son résultat intermédiaire est écrit dans la mémoire vidéo principale, la HBM, puis relu aussitôt.

C'est comme préparer une salade en transférant chaque ingrédient coupé dans un nouveau saladier : on coupe moins qu'on ne déplace la vaisselle. La fusion d'opérations (operator fusion) regroupe plusieurs étapes en un seul passage, et FlashAttention fait de même pour le mécanisme d'attention. Les poids et les formules du modèle restent inchangés.

Adrian Tam a présenté cette couche d'optimisation dans un tutoriel publié sur Machine Learning Mastery. L'article ne contient aucune mesure de vitesse propre à l'auteur, mais il explique clairement les causes des ralentissements et les moyens de les corriger.

Pourquoi un code « correct » peut être lent

Une couche de transformeur se compose d'étapes bien connues : projections linéaires, attention, normalisation, fonctions d'activation, addition avec le signal d'origine (residual). Une implémentation directe lance un kernel distinct pour chaque étape et écrit chaque tenseur intermédiaire en mémoire. Les calculs sont justes, mais le temps passé à déplacer les valeurs et à lancer les kernels dépasse celui consacré au calcul utile.

Le bloc SwiGLU des modèles récents en est un exemple typique. Il comprend trois multiplications matricielles, une activation SiLU et une multiplication élément par élément. Chaque frontière entre opérations implique une écriture dans la HBM puis une relecture. En fusionnant SiLU avec la multiplication, un seul passage sur les données remplace deux.

D'autres opérations se prêtent à la fusion : l'addition résiduelle avec la normalisation RMSNorm ou LayerNorm, le biais avec l'activation, les embeddings positionnels (RoPE) appliqués aux requêtes et aux clés, la mise à jour du cache KV, ou encore la déquantification combinée à la multiplication matricielle. Mais la fusion a ses limites. Si la quasi-totalité du temps est consommée par une seule grande multiplication matricielle, le gain reste faible. Un kernel trop volumineux sature les registres du GPU, réduit l'occupation des unités de calcul et peut finir plus lent que plusieurs kernels bien réglés. L'auteur recommande de garder le code simple comme référence et de choisir les kernels de façon empirique, en profilant l'ensemble de la charge.

FlashAttention et cache KV paginé

L'attention naïve construit une matrice de scores Q·Kᵀ de taille T² par tête, où T est la longueur de la séquence. Écrire cette matrice en mémoire puis la relire pour le softmax consomme la bande passante, ce qui devient un goulot d'étranglement lors d'un prefill (traitement initial du prompt) long. FlashAttention contourne le problème : il traite les requêtes, les clés et les valeurs par tuiles, met à jour les statistiques du softmax et accumule le résultat dans la mémoire rapide directement sur la puce. La matrice complète n'atteint jamais la mémoire principale.

Dans PyTorch, cette fonctionnalité est accessible via scaled_dot_product_attention. Le framework choisit lui-même le backend en fonction de l'appareil, du type de données, de la forme des tenseurs et du masque. On peut imposer une priorité avec sdpa_kernel, mais une liaison rigide est risquée : si ni FlashAttention ni le backend cuDNN ne prennent en charge vos entrées ou votre matériel, le code échouera.

Il faut distinguer les phases. FlashAttention est particulièrement utile au prefill, où de nombreux tokens sont traités ensemble. Pendant le decode, où le modèle génère la réponse token par token, il n'y a qu'une ou quelques nouvelles requêtes, et le goulot d'étranglement devient plus souvent la lecture du cache KV grandissant, c'est-à-dire des données conservées sur les tokens déjà traités.

C'est là qu'intervient le paged attention. Le cache KV d'une requête grandit token par token et se termine à une longueur imprévisible. Exiger pour lui un seul bloc de mémoire continu conduit à réserver de l'espace inutilisé, et déplacer ou agrandir le cache devient coûteux.

L'approche paginée découpe la mémoire en blocs de taille fixe et conserve une table de correspondance entre blocs logiques et blocs physiques. Le kernel parcourt cette table et ne peut pas supposer que K[t+1] se trouve à côté de K[t]. Les blocs sont attribués au besoin, rendus au pool à la fin de la requête, et peuvent être partagés entre séquences ayant un préfixe commun.

Le nombre d'éléments logiques du KV ne diminue pas : le gain porte sur une fragmentation moindre et une réserve plus réduite.

Dans l'exemple avec vLLM, l'auteur fixe explicitement block_size=16 et le backend TRITON_ATTN. Le paramètre block_size ne sélectionne pas à lui seul le backend de calcul.

torch.compile et CUDA Graphs

Écrire soi-même des kernels en CUDA ou en Triton relève du travail de spécialiste. L'alternative consiste à laisser TorchDynamo capturer le graphe des opérations, puis TorchInductor, le backend par défaut de torch.compile, l'optimise : il réutilise les buffers et fusionne les opérations élément par élément compatibles en un seul kernel Triton. Mais tout ne fusionne pas. Les ruptures de graphe provoquées par des branchements dépendant des données, des opérations non prises en charge ou la conversion de tenseurs en scalaires Python découpent le modèle en plusieurs graphes.

Le mode reduce-overhead ajoute les CUDA Graphs. La fusion réduit le nombre de kernels et le trafic mémoire. Un CUDA Graph enregistre la séquence restante d'opérations GPU et la lance en une seule commande depuis le CPU, ce qui supprime les surcoûts de lancement. Cette approche convient surtout aux tâches répétitives à petit batch, comme le decode. Si les formes des requêtes changent constamment, le bénéfice diminue et la mémoire nécessaire aux buffers de travail peut augmenter.

Que faire en pratique

  • Profilez l'application entière, pas un kernel isolé : un nombre réduit de kernels dans le profileur n'est qu'un indice de gain.
  • Activez TORCH_LOGS=perf_hints et output_code avant le démarrage de Python pour voir quelles opérations Inductor a fusionnées.
  • Vérifiez les résultats avec une tolérance adaptée à votre type de données : l'ordre des opérations change, et de légers écarts numériques sont normaux.
  • Surveillez les formes dynamiques : elles déclenchent des recompilations et peuvent réduire l'effet de la fusion.

Ce texte est pédagogique et ne comporte pas de mesures propres à l'auteur, mais comme carte des causes et des remèdes, il est utile à ceux qui optimisent l'inférence avec vLLM ou PyTorch.

Dossier

Questions clés sur cet article

Pourquoi un code « correct » peut être lent?

Une couche de transformeur se compose d'étapes bien connues : projections linéaires, attention, normalisation, fonctions d'activation, addition avec le signal d'origine (residual). Une implémentation directe lance un kernel distinct pour chaque étape et écrit chaque tenseur intermédiaire en mémoire. Les calculs sont justes, mais le temps passé à déplacer les valeurs et à lancer les kernels dépasse celui consacré au calcul utile. Le bloc SwiGLU des modèles récents en est un exemple typique.

Que sait-on sur FlashAttention et cache KV paginé ?

L'attention naïve construit une matrice de scores Q·Kᵀ de taille T² par tête, où T est la longueur de la séquence. Écrire cette matrice en mémoire puis la relire pour le softmax consomme la bande passante, ce qui devient un goulot d'étranglement lors d'un prefill (traitement initial du prompt) long. FlashAttention contourne le problème : il traite les requêtes, les clés et les valeurs par tuiles, met à jour les statistiques du softmax et accumule le résultat dans la mémoire rapide directement sur la puce.

Que sait-on sur torch.compile et CUDA Graphs ?

Écrire soi-même des kernels en CUDA ou en Triton relève du travail de spécialiste. L'alternative consiste à laisser TorchDynamo capturer le graphe des opérations, puis TorchInductor, le backend par défaut de torch.compile, l'optimise : il réutilise les buffers et fusionne les opérations élément par élément compatibles en un seul kernel Triton. Mais tout ne fusionne pas.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…