Together AI annonce un entraînement 90 % plus rapide sur NVIDIA Blackwell

Together AI a annoncé un accès immédiat à des clusters de GPU accélérés par NVIDIA Blackwell et présenté sa propre pile d'optimisation, conçue spécifiquement pour la nouvelle architecture matérielle dédiée aux réseaux de neurones.

Résultats : 90 % d'accélération par rapport au H100

Lors des tests avec un modèle Llama de 70 milliards de paramètres, l'équipe de Together AI a atteint 15,264 tokens par seconde sur un seul GPU. C'est presque le double du résultat obtenu sur la génération précédente, le NVIDIA HGX H100, qui traitait 8,080 tokens par seconde dans une configuration optimisée.

Ces résultats reposent sur une version optimisée de TorchTitan associée à Together Kernel Collection, la collection de noyaux optimisés propre à l'entreprise. Pour le contexte : il s'agit de précision BF16 (Brain Float 16, un compromis entre vitesse et exactitude, aujourd'hui standard pour l'entraînement des grands modèles). Selon l'entreprise, la vitesse continuera d'augmenter grâce à des optimisations supplémentaires encore en développement.

Comment ça marche : une optimisation au niveau de l'architecture

Cette accélération repose sur une optimisation poussée pour une architecture de GPU précise. Together AI a développé plusieurs composants qui exploitent pleinement les capacités de NVIDIA Blackwell :

• Des noyaux FP8 personnalisés fonctionnant avec les Tensor Cores NVIDIA de 5e génération (unités de calcul haute performance)
• Des noyaux d'attention 1,8 fois plus rapides que FlashAttention-3 (le standard actuel du mécanisme d'attention optimisé)
• Une intégration avec la bibliothèque ouverte ThunderKittens pour exploiter toute la mémoire dédiée sur la puce
• Des algorithmes d'entraînement distribué adaptés à la topologie du réseau Quantum-2 InfiniBand

Tri Dao, scientifique en chef de Together AI et créateur de FlashAttention, a déclaré : « Nous optimisons chaque couche de la pile IA pour tirer pleinement parti des avancées de l'architecture GPU. Nous apprécions particulièrement les nouveaux Tensor Cores et le format de microscaling pour accélérer l'inférence. L'association de Together Kernel Collection et de NVIDIA Blackwell redéfinit les standards d'un entraînement et d'une inférence efficaces à grande échelle. »

Programme de test et montée en charge

Dans le cadre d'un programme de lancement exclusif, Together AI invite huit entreprises pionnières de l'IA à accéder directement à des nœuds HGX B200 dédiés et à collaborer avec des ingénieurs de NVIDIA et des chercheurs de Together AI. L'objectif : accélérer ensemble les charges de travail et trouver de nouvelles optimisations.

Parallèlement, l'entreprise déploie des dizaines de milliers de serveurs HGX B200 et des solutions GB200 NVL72 en rack complet, avec des réseaux NVIDIA Quantum-2 InfiniBand. Cela inclut le cluster de plus de 36,000 GPU annoncé précédemment pour entraîner des modèles de nouvelle génération et des agents.

Ce que cela signifie

Pour les entreprises d'IA, le résultat est concret : entraîner de grands modèles deviendra moins cher et plus rapide. Avec un gain de vitesse de 90 %, les modèles qui exigeaient des semaines s'entraînent désormais en quelques jours. Cela réduit sensiblement les dépenses d'investissement en calcul et accélère le cycle d'expérimentation avec de nouvelles architectures.

Pour le marché dans son ensemble, c'est un signal : l'ère des services GPU génériques touche à sa fin. Les entreprises d'IA qui écrivent leurs propres noyaux optimisés pour une architecture précise (comme Together AI avec ThunderKittens) gagnent un avantage concurrentiel en vitesse et en coût. Et cela pèse directement sur le prix de l'entraînement et, au final, sur celui des services d'IA pour les utilisateurs finaux.