NVIDIA détaille le parallélisme tensoriel non uniforme pour entraîner des LLM sur GPU

NVIDIA a publié sur son Developer Blog un article consacré au parallélisme tensoriel non uniforme (nonuniform tensor parallelism). Cette approche vise à augmenter le goodput, c'est-à-dire la part de travail de calcul réellement utile, lors de l'entraînement de grands modèles de langage sur des clusters de milliers de GPU.

Qu'est-ce que le goodput dans l'entraînement des LLM

Les grands modèles de langage actuels s'entraînent de plus en plus souvent sur des clusters de milliers de processeurs graphiques, pendant des semaines, voire des mois de fonctionnement continu. Sur de telles durées, le coût des pannes explose : la défaillance d'un nœud, un GPU « retardataire » qui se bloque ou un redémarrage depuis un checkpoint grignotent une partie du temps de calcul total. Le goodput ne mesure pas simplement l'utilisation cumulée des GPU : il reflète la part de travail réellement productif, une fois ces pertes déduites.

Parmi les causes typiques de sa baisse figurent la congestion réseau entre les nœuds, une charge inégale entre GPU et le temps consacré à sauvegarder puis restaurer les checkpoints intermédiaires après une panne.

• L'article est publié sur le NVIDIA Developer Blog et porte spécifiquement sur l'amélioration du goodput dans l'entraînement des LLM
• Il s'agit d'une infrastructure conçue pour des tâches mobilisant des milliers de GPU simultanément
• Ces entraînements peuvent tourner longtemps sans interruption
• La méthode proposée s'appelle nonuniform tensor parallelism, ou « parallélisme tensoriel non uniforme »

Comment fonctionne le parallélisme tensoriel non uniforme

Le parallélisme tensoriel est l'une des méthodes de base de l'entraînement distribué : les opérations matricielles au sein des couches du modèle sont découpées et calculées simultanément sur plusieurs GPU. On peut ainsi entraîner des modèles qui ne tiennent pas physiquement dans la mémoire d'une seule carte graphique. L'approche classique applique le même degré de découpage à toutes les couches, sans distinction.

La variante non uniforme décrite par NVIDIA ajuste le degré de parallélisme pour chaque partie du modèle, en fonction de sa charge de calcul et du volume de données à échanger entre GPU. Objectif : réduire les temps morts et le surcoût des communications entre composants, et améliorer le goodput final sans acheter de matériel supplémentaire. Ce type de technique s'implémente généralement avec des bibliothèques d'entraînement distribué comme Megatron-LM et la plateforme NeMo, que NVIDIA développe spécifiquement pour entraîner de grands modèles sur ses GPU.

Le parallélisme tensoriel n'est pas la seule façon de répartir l'entraînement entre GPU. On l'associe au parallélisme de pipeline, où différentes couches du modèle sont attribuées à différents GPU et traitées à la chaîne, et au parallélisme de données, où chaque GPU héberge une copie complète du modèle tandis que les exemples d'entraînement sont répartis entre les composants. En pratique, les grands clusters d'entraînement combinent les trois approches à la fois, et la pertinence de cette combinaison pour une architecture donnée détermine directement le goodput final.

Pourquoi c'est important pour l'infrastructure de l'IA

Quand on compte en milliers de GPU et en semaines d'entraînement continu, même un faible pourcentage de gain d'efficacité se traduit par des économies sensibles. Entraîner un modèle réellement massif exige une puissance de calcul valant des dizaines, voire des centaines de millions de dollars : un gain de goodput d'à peine 1 % représente donc une économie significative en temps, en électricité et en argent. Premier fournisseur d'accélérateurs pour l'IA, NVIDIA publie régulièrement ce genre d'analyses techniques pour que ses clients, des entreprises qui entraînent leurs propres LLM sur son infrastructure, tirent davantage de leurs clusters existants sans agrandir leur parc matériel.

Ce que cela signifie

À mesure que l'entraînement des grands modèles de langage change d'échelle, la différence ne se fait plus seulement sur le nombre et la puissance des puces, mais aussi sur l'ingénierie logicielle système : la capacité d'une infrastructure distribuée à exploiter efficacement les GPU déjà achetés.