Optimisation des réseaux de neurones sur GPU : comment Together AI accélère l'IA

Together AI a appliqué l'optimisation des réseaux de neurones sur GPU pour montrer que l'écart entre théorie et pratique en IA n'est pas une fatalité, mais un défi direct lancé aux ingénieurs.

Pourquoi les réseaux de neurones tournent-ils lentement sur GPU ?

Parce qu'il existe un écart entre la théorie et la pratique : les développeurs ne tiennent pas toujours compte de toutes les subtilités de l'interaction entre le modèle et le matériel. Les ingénieurs de Together AI ont comblé cet écart en adaptant en une semaine les noyaux aux GPU Blackwell, un travail sur lequel NVIDIA a passé une année entière.

Qu'est-ce que FlashAttention ?

C'est une optimisation de l'attention des transformers, publiée en mai 2022. Son idée centrale : l'optimisation de l'attention des transformers était loin d'être terminée, et il existait des pistes importantes pour l'accélérer.

Qu'est-ce que FlashAttention et qui l'a développé ?

FlashAttention est un article sur l'optimisation de l'attention des transformers, publié en mai 2022 par Dan Fu et Tri Dao. L'idée principale : l'optimisation du mécanisme d'attention était loin d'être terminée.

Combien de temps

Together AI a-t-elle mis à adapter les noyaux aux GPU Blackwell ? Une semaine. À titre de comparaison, NVIDIA y a travaillé pendant une année entière avec des dizaines de spécialistes.

Comment faire tourner un réseau de neurones plus vite ?

Together AI utilise des optimisations de noyaux pour l'attention des transformers afin d'adapter les modèles aux nouveaux GPU. En une semaine, l'équipe a terminé un travail sur lequel NVIDIA a passé une année entière avec des dizaines de spécialistes.