L'entraînement distribué de l'IA bouleverse les réseaux entre data centers : 5 µs par kilomètre

Chaque kilomètre de fibre optique ajoute environ 5 microsecondes de latence. Entre deux data centers distants de 100 km, cela donne 0,5 ms à l'aller et environ 1 ms en aller-retour. À 500 km, la latence aller-retour atteint déjà environ 5 ms.

Au sein d'une même salle de GPU, elle se mesure en unités à dizaines de microsecondes. C'est précisément cet écart de deux à trois ordres de grandeur que The Next Platform désigne comme la principale difficulté de l'entraînement multisite. L'article est paru en tant que contenu sponsorisé, et le passage accessible ne contient aucune donnée propre à un fournisseur.

Ce qui suit est donc une analyse du problème lui-même, fondée sur la physique et sur les approches d'ingénierie connues.

Pourquoi un seul campus ne suffit plus

Les clusters de plusieurs centaines de milliers d'accélérateurs réclament des centaines de mégawatts, parfois des gigawatts. Trouver une telle puissance en un seul point du réseau devient de plus en plus difficile : les raccordements aux sous-stations se font attendre pendant des années, et les sites butent sur le refroidissement et sur le foncier. La parade logique consiste à répartir le cluster sur plusieurs campus, dans un rayon de quelques dizaines ou centaines de kilomètres, et à les faire fonctionner comme une seule machine. Les problèmes commencent là, car l'architecture réseau de l'entraînement a été conçue en pensant en microsecondes.

Là où l'architecture habituelle craque

L'entraînement synchrone exige que les GPU échangent leurs gradients après chaque étape. Pour un modèle à un billion de paramètres en bf16, cela représente environ 2 To de données par itération (estimation, sans tenir compte du sharding ni de la compression). Un canal de 800 Gbit/s transmet environ 100 Go/s : sur une seule liaison, un tel volume mettrait donc des dizaines de secondes à passer. Il faut par conséquent des dizaines, voire des centaines de canaux parallèles entre les sites, et le trafic doit être découpé de sorte que les échanges les plus lourds restent à l'intérieur du bâtiment.

Deuxième problème : les pertes et la congestion. Les réseaux modernes pour l'IA sont sensibles à la perte de paquets, et sur un lien long, le tampon du commutateur doit pouvoir contenir toutes les données « en vol ». Plus la liaison est longue et le débit élevé, plus la mise en tampon doit être profonde. D'où l'intérêt pour les puces réseau dotées de beaucoup de mémoire et pour les commutateurs conçus pour les liaisons intersites.

Paramètres clés du problème :

• latence dans la fibre : ~5 µs/km, ~1 ms en aller-retour sur 100 km ;
• canal : optique cohérente 800G, des dizaines de liaisons parallèles par paire de sites ;
• volume d'échange : de l'ordre du téraoctet de gradients par étape pour les modèles à l'échelle du billion de paramètres ;
• pertes de paquets : critiques, avec une mise en tampon profonde et une gestion de la congestion nécessaires ;
• principale marge de manœuvre : réduire le nombre de synchronisations entre sites.

Ce que font les ingénieurs

La première voie est matérielle. Les modules cohérents 800G ZR/ZR+ permettent de transporter le signal sur des centaines de kilomètres sans transpondeurs distincts, tandis que les puces réseau de nouvelle génération prennent en charge la mise en tampon et l'équilibrage du trafic entre campus. La deuxième voie est logicielle.

Le parallélisme de pipeline peut être étendu à travers les sites : les activations passent d'un étage à l'autre moins souvent et en plus faible volume que les gradients. Les échanges denses du parallélisme tensoriel restent à l'intérieur du bâtiment. La troisième voie consiste à modifier l'algorithme lui-même.

Des méthodes comme DiLoCo synchronisent les poids tous les quelques centaines de pas, et non à chaque pas, au prix d'une partie de l'efficacité, pour mieux tolérer la latence. La compression des gradients et le recouvrement du calcul et de la transmission aident à masquer les millisecondes derrière le travail des GPU.

Conclusions pratiques

Pour les opérateurs de clusters, la question se pose désormais autrement : combien de millisecondes peut-on cacher derrière le calcul ? Si les sites sont distants de 50–100 km, les pertes restent modérées et peuvent être masquées. Au-delà, à 500 km, sans revoir le parallélisme, le coût grimpe vite.

Une équipe qui prévoit un entraînement distribué a intérêt à calculer d'emblée son budget de latence et le volume de trafic entre sites, et pas seulement le nombre de GPU. Au moment de choisir l'équipement réseau, la profondeur des tampons, la prise en charge de l'optique cohérente 800G et la télémétrie de congestion comptent. Autre risque : le caractère sponsorisé du sujet.

Comparez les affirmations des fournisseurs à vos propres mesures sur des charges réelles.