Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarTogether AI Blog→ original

FlashAttention-4 : comment Together AI a accéléré l'attention sur les GPU Blackwell

FlashAttention-4 refond le noyau d'attention spécifiquement pour Blackwell. Le gain vient de la nouvelle mémoire tensorielle (TMEM) et du mode 2-CTA MMA, qui visent le vrai goulot d'étranglement : non pas la vitesse des opérations matricielles, mais la SFU du softmax et la mémoire. Résultat : 1605 TFLOPs/s (71 % d'utilisation), soit 1,3× plus vite que cuDNN et 2,7× plus vite que Triton.

Traité par IA depuis Together AI Blog ; édité par Hamidun News
FlashAttention-4 : comment Together AI a accéléré l'attention sur les GPU Blackwell
Source : Together AI Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTogether AI Blog ↗
Rédacteur en chef
Nouveau pipeliningdes pipelines logiciels qui font se chevaucher au maximum le travail des cœurs tensoriels, de la SFU et de la mémoire, sans temps mort.
Chiffre clé #2Émulation de l'exponentielle par des polynômes : au lieu de la SFU, lente, le forward pass calcule l'exponentielle sur les unités FMA rapides (fused multiply-add).

FlashAttention-4 est une refonte de l'algorithme d'attention conçue spécifiquement pour les GPU modernes, où les cœurs tensoriels gagnent en performance bien plus vite que la mémoire et les autres ressources.

Pourquoi l'approche standard ne fonctionne plus

Au premier abord, la performance de l'attention (attention) dépend de la vitesse de deux multiplications matricielles : S = Q × K^T et O = P × V. Mais l'analyse du Blackwell B200 révèle un point inattendu : le goulot d'étranglement ne se trouve pas dans les cœurs tensoriels, mais dans les unités de fonctions spéciales (SFU) qui calculent l'exponentielle du softmax (forward pass) et dans le trafic de la mémoire partagée (backward pass). De Hopper (H100) à Blackwell (B200), la performance des cœurs tensoriels en BF16 est passée de 1 à 2.

25 pétaflops, alors que le nombre de SFU et la bande passante de la mémoire partagée sont restés identiques. Cette asymétrie casse l'optimisation standard : on ne peut pas simplement supposer que les cœurs déterminent seuls la performance. En réalité, ils se gênent mutuellement.

Comment Together AI a résolu le problème

L'équipe de recherche, avec des ingénieurs de NVIDIA, Meta* et Princeton, a proposé trois idées clés :

  • Nouveau pipelining : des pipelines logiciels qui font se chevaucher au maximum le travail des cœurs tensoriels, de la SFU et de la mémoire, sans temps mort.
  • Émulation de l'exponentielle par des polynômes : au lieu de la SFU, lente, le forward pass calcule l'exponentielle sur les unités FMA rapides (fused multiply-add).
  • TMEM et 2-CTA MMA : utilisation de la nouvelle mémoire tensorielle (256 KB par SM) et d'un mode où deux blocs de threads travaillent sur une même opération matricielle, ce qui réduit le trafic de la mémoire partagée.

Les capacités de Blackwell qui l'ont permis

Blackwell a ajouté plusieurs fonctions pensées pour ce type d'optimisations :

La mémoire tensorielle (TMEM) est un stockage rapide sur la puce (256 KB par SM), relié directement aux cœurs tensoriels. Les résultats intermédiaires peuvent y rester sans passer par la mémoire partagée, plus lente, ce qui réduit radicalement la latence d'accès.

Cœurs tensoriels asynchrones de 5e génération : chaque opération est lancée par un seul thread et accumule ses résultats dans la TMEM. La tuile maximale pour le BF16 est de 128×256×16 (environ 2 fois celle de Hopper), ce qui permet un pipelining plus profond sans saturer les registres.

Le 2-CTA MMA est un nouveau mode où deux blocs de threads travaillent simultanément sur une même opération matricielle. Il divise par deux la charge sur la mémoire partagée et réduit le nombre d'opérations atomiques.

Chiffres et résultats

Sur un Blackwell B200 en BF16, FlashAttention-4 atteint 1605 TFLOPs/s (71 % d'utilisation). C'est 1,3× plus rapide que cuDNN 9.13 et 2,7× plus rapide que Triton. Pour mettre cela en perspective : 1605 TFLOPs représentent près de la moitié de la performance de crête de Blackwell, mais obtenus sur un noyau d'attention complexe.

Ce que cela signifie

FlashAttention-4 montre comment travailler à l'ère de la montée en puissance asymétrique des GPU : au lieu de resserrer des boulons sur de vieux algorithmes, les refaire en tenant compte des nouvelles capacités du matériel. Le résultat ressemble à une réussite, mais ce n'est que le début de l'adaptation à la nouvelle réalité du matériel.

*Meta est classée organisation extrémiste et interdite en Russie.

Dossier

Questions clés sur cet article

Pourquoi l'approche standard ne fonctionne plus?

Au premier abord, la performance de l'attention (attention) dépend de la vitesse de deux multiplications matricielles : S = Q × K^T et O = P × V. Mais l'analyse du Blackwell B200 révèle un point inattendu : le goulot d'étranglement ne se trouve pas dans les cœurs tensoriels, mais dans les unités de fonctions spéciales (SFU) qui calculent l'exponentielle du softmax (forward pass) et dans le trafic de la mémoire partagée (backward pass).

Comment Together AI a résolu le problème?

L'équipe de recherche, avec des ingénieurs de NVIDIA, Meta et Princeton, a proposé trois idées clés : Nouveau pipelining : des pipelines logiciels qui font se chevaucher au maximum le travail des cœurs tensoriels, de la SFU et de la mémoire, sans temps mort. Émulation de l'exponentielle par des polynômes : au lieu de la SFU, lente, le forward pass calcule l'exponentielle sur les unités FMA rapides (fused multiply-add).

Que sait-on sur Les capacités de Blackwell qui l'ont permis ?

Blackwell a ajouté plusieurs fonctions pensées pour ce type d'optimisations : La mémoire tensorielle (TMEM) est un stockage rapide sur la puce (256 KB par SM), relié directement aux cœurs tensoriels. Les résultats intermédiaires peuvent y rester sans passer par la mémoire partagée, plus lente, ce qui réduit radicalement la latence d'accès. Cœurs tensoriels asynchrones de 5e génération : chaque opération est lancée par un seul thread et accumule ses résultats dans la TMEM.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…