OpenAI dévoile MRC, un protocole réseau pour des supercalculateurs de millions de GPU

OpenAI, en collaboration avec AMD, Broadcom, Intel, Microsoft et NVIDIA, a présenté MRC (Multipath Reliable Connection), un nouveau protocole réseau ouvert pour les grands clusters d'IA. Il s'attaque à un problème central : comment construire un supercalculateur de centaines de milliers de GPU lorsque la fiabilité du réseau devient le goulot d'étranglement.

Comment fonctionne MRC

MRC répartit les paquets de données sur des centaines de chemins réseau en même temps. Si un chemin tombe, les données empruntent des routes alternatives sans perte de débit. La récupération après une panne prend quelques microsecondes, si vite que l'entraînement du réseau de neurones remarque à peine la perturbation.

Les protocoles réseau classiques choisissent un chemin principal et ne basculent sur un chemin de secours que si le principal tombe en panne. MRC repose sur un principe radicalement différent : il surveille des centaines de chemins potentiels en temps réel et répartit dynamiquement la charge entre les liens sains. C'est la différence entre une route unique avec déviation et un réseau de ruelles où les voitures peuvent emprunter n'importe quel itinéraire libre.

Avantages pratiques

La principale réussite de MRC est de simplifier l'architecture des supercalculateurs. Jusqu'ici, les clusters de plus de 100 000 GPU exigeaient une hiérarchie de commutateurs Ethernet à trois niveaux. C'est coûteux, complexe à installer et gourmand en énergie pour le refroidissement. MRC se contente de deux niveaux, ce qui simplifie radicalement la conception et réduit le coût du matériel.

• Moins de matériel réseau, d'où une installation et une maintenance simplifiées
• Latence réseau réduite grâce à des chemins plus directs entre les GPU
• Consommation d'énergie réduite pour le refroidissement des commutateurs
• Meilleure montée en charge : l'architecture fonctionne jusqu'à des millions de GPU

Un standard ouvert pour l'écosystème

MRC n'est pas une solution fermée détenue par une seule entreprise. OpenAI a choisi une approche ouverte et a associé les principaux fabricants d'équipements réseau : AMD, Broadcom, Intel, Microsoft et NVIDIA. D'autres entreprises, fournisseurs de cloud et centres de recherche pourront donc déployer MRC dans leurs supercalculateurs.

L'ouverture du standard compte précisément parce qu'à cette échelle, même de petites améliorations de la fiabilité et de l'efficacité du réseau pèsent sur le coût d'entraînement des modèles et sur le rythme de toute l'industrie de l'IA.

Ce que cela change

MRC répond au défi de l'échelle. À mesure que les modèles d'IA grossissent, les exigences sur l'infrastructure de calcul augmentent. Une architecture réseau qui convient à un cluster de 10 000 GPU peut devenir un goulot d'étranglement à 500 000 GPU. MRC permet de construire des supercalculateurs encore plus grands sans repenser radicalement l'architecture.

Pour l'industrie, cela signifie un entraînement des modèles moins cher et une adoption plus rapide des innovations.