FlashAttention-4 : comment Together AI a accéléré l'attention sur les GPU Blackwell
FlashAttention-4 refond le noyau d'attention spécifiquement pour Blackwell. Le gain vient de la nouvelle mémoire tensorielle (TMEM) et du mode 2-CTA MMA, qui visent le vrai goulot d'étranglement : non pas la vitesse des opérations matricielles, mais la SFU du softmax et la mémoire. Résultat : 1605 TFLOPs/s (71 % d'utilisation), soit 1,3× plus vite que cuDNN et 2,7× plus vite que Triton.
Traité par IA depuis Together AI Blog ; édité par Hamidun News
FlashAttention-4 est une refonte de l'algorithme d'attention conçue spécifiquement pour les GPU modernes, où les cœurs tensoriels gagnent en performance bien plus vite que la mémoire et les autres ressources.
Pourquoi l'approche standard ne fonctionne plus
Au premier abord, la performance de l'attention (attention) dépend de la vitesse de deux multiplications matricielles : S = Q × K^T et O = P × V. Mais l'analyse du Blackwell B200 révèle un point inattendu : le goulot d'étranglement ne se trouve pas dans les cœurs tensoriels, mais dans les unités de fonctions spéciales (SFU) qui calculent l'exponentielle du softmax (forward pass) et dans le trafic de la mémoire partagée (backward pass). De Hopper (H100) à Blackwell (B200), la performance des cœurs tensoriels en BF16 est passée de 1 à 2.
25 pétaflops, alors que le nombre de SFU et la bande passante de la mémoire partagée sont restés identiques. Cette asymétrie casse l'optimisation standard : on ne peut pas simplement supposer que les cœurs déterminent seuls la performance. En réalité, ils se gênent mutuellement.
Comment Together AI a résolu le problème
L'équipe de recherche, avec des ingénieurs de NVIDIA, Meta* et Princeton, a proposé trois idées clés :
- Nouveau pipelining : des pipelines logiciels qui font se chevaucher au maximum le travail des cœurs tensoriels, de la SFU et de la mémoire, sans temps mort.
- Émulation de l'exponentielle par des polynômes : au lieu de la SFU, lente, le forward pass calcule l'exponentielle sur les unités FMA rapides (fused multiply-add).
- TMEM et 2-CTA MMA : utilisation de la nouvelle mémoire tensorielle (256 KB par SM) et d'un mode où deux blocs de threads travaillent sur une même opération matricielle, ce qui réduit le trafic de la mémoire partagée.
Les capacités de Blackwell qui l'ont permis
Blackwell a ajouté plusieurs fonctions pensées pour ce type d'optimisations :
La mémoire tensorielle (TMEM) est un stockage rapide sur la puce (256 KB par SM), relié directement aux cœurs tensoriels. Les résultats intermédiaires peuvent y rester sans passer par la mémoire partagée, plus lente, ce qui réduit radicalement la latence d'accès.
Cœurs tensoriels asynchrones de 5e génération : chaque opération est lancée par un seul thread et accumule ses résultats dans la TMEM. La tuile maximale pour le BF16 est de 128×256×16 (environ 2 fois celle de Hopper), ce qui permet un pipelining plus profond sans saturer les registres.
Le 2-CTA MMA est un nouveau mode où deux blocs de threads travaillent simultanément sur une même opération matricielle. Il divise par deux la charge sur la mémoire partagée et réduit le nombre d'opérations atomiques.
Chiffres et résultats
Sur un Blackwell B200 en BF16, FlashAttention-4 atteint 1605 TFLOPs/s (71 % d'utilisation). C'est 1,3× plus rapide que cuDNN 9.13 et 2,7× plus rapide que Triton. Pour mettre cela en perspective : 1605 TFLOPs représentent près de la moitié de la performance de crête de Blackwell, mais obtenus sur un noyau d'attention complexe.
Ce que cela signifie
FlashAttention-4 montre comment travailler à l'ère de la montée en puissance asymétrique des GPU : au lieu de resserrer des boulons sur de vieux algorithmes, les refaire en tenant compte des nouvelles capacités du matériel. Le résultat ressemble à une réussite, mais ce n'est que le début de l'adaptation à la nouvelle réalité du matériel.
*Meta est classée organisation extrémiste et interdite en Russie.
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026MLCommons se met à mesurer les API d'IA sous charge réelle : 7 mesures pour les agents
- 21 nov. 2026Unsloth met à jour ses versions compressées de Qwen3.8-27B : précision en hausse de 5 à 10 % à taille égale
- 21 nov. 2026Apple développe un agent IA pour Mac et complique l'accès aux applications tierces : 14 clics au lieu de 4
Questions clés sur cet article
Pourquoi l'approche standard ne fonctionne plus?
Au premier abord, la performance de l'attention (attention) dépend de la vitesse de deux multiplications matricielles : S = Q × K^T et O = P × V. Mais l'analyse du Blackwell B200 révèle un point inattendu : le goulot d'étranglement ne se trouve pas dans les cœurs tensoriels, mais dans les unités de fonctions spéciales (SFU) qui calculent l'exponentielle du softmax (forward pass) et dans le trafic de la mémoire partagée (backward pass).
Comment Together AI a résolu le problème?
L'équipe de recherche, avec des ingénieurs de NVIDIA, Meta et Princeton, a proposé trois idées clés : Nouveau pipelining : des pipelines logiciels qui font se chevaucher au maximum le travail des cœurs tensoriels, de la SFU et de la mémoire, sans temps mort. Émulation de l'exponentielle par des polynômes : au lieu de la SFU, lente, le forward pass calcule l'exponentielle sur les unités FMA rapides (fused multiply-add).
Que sait-on sur Les capacités de Blackwell qui l'ont permis ?
Blackwell a ajouté plusieurs fonctions pensées pour ce type d'optimisations : La mémoire tensorielle (TMEM) est un stockage rapide sur la puce (256 KB par SM), relié directement aux cœurs tensoriels. Les résultats intermédiaires peuvent y rester sans passer par la mémoire partagée, plus lente, ce qui réduit radicalement la latence d'accès. Cœurs tensoriels asynchrones de 5e génération : chaque opération est lancée par un seul thread et accumule ses résultats dans la TMEM.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.