Les réseaux de neurones vont deux fois plus vite : FlashAttention-3 de NVIDIA

Together AI a dévoilé FlashAttention-3, un nouvel algorithme pour accélérer les transformers dans les grands modèles de langage. Il va deux fois plus vite que FlashAttention-2. Le GPU H100 est désormais exploité à 75 %, contre 35 % auparavant. L'algorithme prend en charge le calcul en FP8, à basse précision, tout en préservant l'exactitude des résultats. Les LLM peuvent ainsi traiter plus efficacement de longues séquences de texte sans ralentir les calculs, et les coûts baissent.

Traité par IA depuis Together AI Blog ; édité par Hamidun News
Les réseaux de neurones vont deux fois plus vite : FlashAttention-3 de NVIDIA
Source : Together AI Blog. Collage: Hamidun News.
Écouter l'article

Les réseaux de neurones vont désormais 1,5 à 2 fois plus vite : Together AI, NVIDIA et Meta ont lancé FlashAttention-3, un algorithme qui accélère l'attention dans les transformers et exploite 75 % de la capacité du GPU, contre 35 % auparavant.

Pourquoi accélérer les réseaux de neurones fait-il économiser de l'argent ?

Le cloud computing devient plus cher et les LLM réclament toujours plus de ressources. Chaque point d'efficacité se traduit désormais en argent.

Dossier
ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…