OpenAI dévoile MRC, un protocole réseau pour entraîner des clusters d'IA de 100 000 GPU

OpenAI a présenté MRC, un nouveau protocole réseau destiné aux supercalculateurs qui entraînent les grands modèles d'IA. Selon l'entreprise, il est déjà déployé dans tous ses plus grands clusters NVIDIA GB200, dont le site OCI d'Abilene et les systèmes Microsoft Fairwater. Il permet de maintenir les performances même en cas de panne de liens ou de commutateurs.

Pourquoi MRC était nécessaire

L'entraînement des modèles frontier ne bute pas seulement sur les GPU eux-mêmes, mais aussi sur le réseau qui les relie. Chaque étape d'entraînement implique des millions d'échanges de données. Si un seul paquet ou un seul flux arrive nettement après les autres, une partie des accélérateurs se retrouve à l'arrêt. Sur de petits clusters, ces retards restent supportables. Mais sur des systèmes de la taille de Stargate, le problème devient structurel : plus il y a de nœuds, plus le risque de congestion, de gigue de latence et de pannes matérielles augmente.

Pour OpenAI, ce n'est plus un sujet d'ingénierie secondaire. L'entreprise indique que ChatGPT compte plus de 900 millions d'utilisateurs hebdomadaires : l'infrastructure de calcul devient donc la couche de base du service. Depuis deux ans, l'équipe a ainsi refondu la pile réseau avec AMD, Broadcom, Intel, Microsoft et NVIDIA. L'objectif : obtenir non seulement un débit élevé, mais aussi un comportement prévisible sous charge et en cas de pannes partielles.

Comment le réseau est conçu

L'idée centrale de MRC consiste à ne pas traiter l'interface réseau comme un unique gros tuyau de 800 Gbit/s. OpenAI la découpe en plusieurs canaux plus petits, par exemple huit liens de 100 Gbit/s, chacun relié à son propre commutateur. On obtient ainsi un réseau multiplan, où un même trafic peut emprunter de nombreux chemins indépendants. Selon les estimations d'OpenAI, cette configuration permet de bâtir un réseau d'environ 131 000 GPU avec seulement deux niveaux de commutateurs Ethernet, contre trois ou quatre niveaux pour une architecture classique à 800 Gbit/s.

Le protocole entre ensuite en jeu : il étend la pile RoCE habituelle pour les besoins de l'entraînement d'IA. Au lieu d'envoyer tout un échange sur un seul itinéraire, MRC « pulvérise » les paquets d'un même transfert sur des centaines de chemins à la fois. Les paquets peuvent arriver dans le désordre, ce qui ne pose pas problème : chacun indique directement son adresse de destination en mémoire, et le récepteur range les données au fil de leur arrivée. Le réseau exploite ainsi plus uniformément les canaux disponibles et résiste nettement mieux aux congestions locales.

• Un échange est découpé en de multiples chemins parallèles passant par différents plans réseau
• Aux premiers signes de congestion, le protocole écarte le chemin problématique et le remplace par un autre
• En cas de perte de paquet, MRC suppose rapidement une panne et renvoie les données
• Si un paquet est perdu à cause d'une congestion côté récepteur, le packet trimming prend le relais : seul l'en-tête est transmis, pour demander explicitement une retransmission

OpenAI souligne que MRC sait contourner les pannes réseau à l'échelle de la microseconde, alors qu'une fabric traditionnelle pouvait mettre des secondes, voire des dizaines de secondes, à recalculer ses routes. C'est crucial pour l'entraînement synchrone, où chaque étape de calcul dépend non pas du transfert moyen, mais du plus lent du cluster. Grâce à cet équilibrage, plusieurs tâches peuvent partager un même cluster avec moins de risques de se gêner mutuellement.

Ce qui change dans l'exploitation

Autre changement majeur : l'abandon du routage dynamique classique au profit du source routing basé sur SRv6. Dans un réseau ordinaire, les commutateurs recalculent eux-mêmes les routes via des protocoles comme BGP, ce qui ajoute de la complexité et de nouvelles catégories de pannes. Avec MRC, l'émetteur encode lui-même le chemin du paquet dans l'adresse IPv6, et les commutateurs se contentent d'exécuter cet itinéraire étape par étape à partir de tables statiques. L'idée paraît radicale, mais c'est précisément elle qui, selon OpenAI, simplifie le plan de contrôle et évite de devoir corriger en permanence la logique réseau à la main.

Pour OpenAI, la pratique compte davantage que la théorie, et l'entreprise avance des chiffres concrets. Ses réseaux d'entraînement comptent des millions de liens et, lors de runs réels, de multiples coupures brèves peuvent survenir chaque minute entre les commutateurs tier-0 et tier-1, sans impact mesurable sur le pré-entraînement synchrone. Pendant l'entraînement d'un récent modèle frontier destiné à ChatGPT et Codex, les ingénieurs ont dû redémarrer quatre commutateurs tier-1, sans avoir à se coordonner avec les équipes qui menaient l'entraînement à ce moment-là. Si un port tombe sur une interface réseau à huit ports, la bande passante baisse au maximum d'un huitième, mais la tâche continue de tourner au lieu de s'effondrer entièrement.

Ce que cela signifie

MRC montre que la course aux modèles les plus performants se déplace de plus en plus vers l'infrastructure. OpenAI ne se contente pas d'accélérer l'entraînement sur ses propres clusters : en confiant le protocole à l'Open Compute Project, elle cherche à transformer sa solution d'ingénierie maison en standard industriel. Si d'autres laboratoires et fournisseurs cloud adoptent cette approche, les grands clusters d'IA deviendront moins coûteux, plus simples à exploiter et plus résistants aux pannes, sans réglage manuel permanent du réseau.