Sharding dans les LLM : comment distribuer les calculs entre GPU

La mise à l'échelle des grands modèles de langage nécessite plus d'un GPU ou TPU. L'une des techniques clés pour cela est le sharding : la distribution des matrices et des vecteurs entre plusieurs accélérateurs de sorte que les calculs s'exécutent efficacement et de manière cohérente.

Pourquoi les matrices ne tiennent pas en mémoire

Lorsqu'on travaille avec de véritables grands réseaux de neurones, les matrices de poids et d'activations ne tiennent pratiquement jamais entièrement en mémoire d'un seul GPU ou TPU. Le poids d'un LLM moderne peut se mesurer en centaines de milliards de paramètres, dont chacun nécessite plusieurs octets de mémoire. Un seul accélérateur ne peut tout simplement pas gérer cela. C'est pourquoi il faut diviser — fragmenter — ces matrices entre plusieurs puces.

Comment fonctionne le sharding

Imaginez une matrice A de taille [I, J]. Elle peut être divisée de plusieurs façons :

• Par lignes (row-wise) — le premier accélérateur prend les lignes 1–N, le deuxième les lignes N+1–2N, et ainsi de suite
• Par colonnes (column-wise) — de la même manière, mais verticalement
• Division par blocs — la matrice est divisée en blocs rectangulaires et distribuée sur une grille de puces
• Par diagonale et autres motifs — des schémas plus complexes pour des opérations spécifiques

Le rôle de chaque accélérateur est d'exécuter l'opération sur sa partie de la matrice, puis de synchroniser les résultats avec ses voisins.

Ce que la qualité du sharding affecte

Du choix judicieux d'une stratégie de sharding dépend :

• Vitesse d'entraînement — minimiser le temps de communication entre GPU
• Efficacité mémoire — remplissage correct des tampons sur chaque puce
• Débit — la quantité de données qui doit être transmise entre les accélérateurs
• Localité des calculs — combien de travail peut s'exécuter sans synchronisation

Un mauvais sharding peut mener à une situation où les accélérateurs passent la plupart du temps à s'attendre les uns les autres ou ne tirent pas pleinement parti de la bande passante des connexions entre eux. Un bon sharding tente de minimiser ces pertes et de garder tous les puces en fonctionnement simultanément.

Ce que cela signifie

Le sharding n'est pas simplement une optimisation technique, c'est le fondement de l'économie de la mise à l'échelle. Une distribution correcte des calculs permet d'utiliser des clusters de centaines et de milliers de GPU de sorte que la vitesse totale se rapproche de l'idéal et que les ressources informatiques ne soient pas gaspillées en attente de communication.