Together AI : comment les optimisations de kernels comblent l’écart entre les modèles et les GPU
L’équipe de Together AI a adapté des kernels CUDA pour les nouveaux GPU Blackwell en une semaine — un travail sur lequel NVIDIA avait travaillé pendant un an. T
◐ Écouter l'article
L’équipe de Together AI a adapté des kernels CUDA pour les nouveaux GPU Blackwell en une semaine — un travail sur lequel NVIDIA avait travaillé pendant un an. Tout cela grâce à FlashAttention (2022) et ThunderKittens. Cela comble l’écart entre les mathématiques des modèles et la puissance réelle du matériel.