Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarMeta Engineering→ original

Meta dévoile Prometheus : un cluster d'un gigawatt qui consacre plus de 85 % de son temps à l'entraînement des modèles

Meta a présenté de l'intérieur Prometheus, un cluster d'un gigawatt dans l'Ohio où ont été entraînés les modèles Muse. Quand une seule carte tombe en panne sur des milliers de GPU, c'est toute la tâche qui s'arrête, à la manière d'une chaîne de production bloquée par une machine. Meta mesure donc le goodput, c'est-à-dire la part du temps pendant laquelle le cluster entraîne réellement le modèle : pour Muse Wonder, elle dépasse 85 % en préentraînement et 90 % en RL. Le message est clair : à cette échelle, ce qui compte davantage que le nombre de GPU, c'est la marge de GPU de secours et la lutte contre les pannes.

Traité par IA depuis Meta Engineering ; édité par Hamidun News
Meta dévoile Prometheus : un cluster d'un gigawatt qui consacre plus de 85 % de son temps à l'entraînement des modèles
Source : Meta Engineering. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMeta Engineering ↗
Rédacteur en chef
Aujourd'huides centaines de milliers de GPU, la version complète doit atteindre environ 1 million
Chiffre clé #2Dans une baie de 72 GPU, 64 entraînent, et 8 attendent en réserve à chaud
Temps moyen entre interruptions47 000 heures-GPU, puis 54 000 après les mises à jour de firmware

Lorsqu'on parle de la course entre laboratoires d'IA, on compte généralement les GPU et les mégawatts. Mais les grandes tâches d'entraînement ont une particularité gênante : elles fonctionnent comme une chaîne de production, où l'arrêt d'une seule machine ralentit toute la ligne. Si l'un des milliers de serveurs tombe en panne, c'est toute la tâche qui souffre.

Meta Engineering a publié une analyse de Prometheus, un supercluster d'environ un gigawatt situé à New Albany, dans l'Ohio, sur lequel a été entraînée la nouvelle famille de modèles Muse. La métrique centrale ici est le goodput, c'est-à-dire la part du temps pendant laquelle le cluster entraîne réellement le modèle, et non celle où il reste à l'arrêt ou se rétablit après une panne. Pour le préentraînement de Muse Wonder, elle a dépassé 85 %, et pour l'apprentissage par renforcement (RL), 90 %.

Quelle machine, et de quoi est-elle faite

Il y a deux ans, le site de New Albany était un centre de données classique pour le trafic web. Il a été reconverti pour l'entraînement de modèles de pointe. Aujourd'hui, Prometheus compte des centaines de milliers de GPU répartis dans plusieurs bâtiments reliés entre eux, dont des bâtiments classiques, des structures optimisées pour l'IA et des constructions modulaires rapides. L'ensemble est relié par des kilomètres de fibre optique et fonctionne comme une seule machine. La première phase est déjà opérationnelle, et le cluster doit atteindre à terme environ 1 million de GPU. Le refroidissement repose sur un circuit de liquide en boucle fermée.

Le cluster exploite actuellement deux plateformes Nvidia, et une troisième arrive. La première, Catalina, repose sur le GB200 NVL72 : 72 GPU reliés par NVLink dans un domaine unique, 13,4 To de mémoire HBM3e (192 Go par GPU), 720 pétaflops en FP8 et environ 120 kW par système. Meta a choisi la variante Ariel, dotée de deux cartes réseau 400G par GPU, soit 800G par carte graphique. L'entreprise estime que le GB200 a progressé sur tous les paramètres par rapport au H100, à l'exception du réseau, et que ce déséquilibre aurait pénalisé les performances.

La seconde plateforme, Clemente, utilise le GB300 NVL72 : 288 Go de mémoire par GPU (50 % de plus), plus d'un exaflop en FP4, et les 72 GPU tiennent dans une seule baie. Le réseau 800G par GPU y est fourni d'origine, avec moins de câbles et une maintenance simplifiée. Le refroidissement est soit modulaire air-liquide, soit liquide en usine si le bâtiment est neuf.

Réseau : les GPU doivent communiquer, pas attendre

Un centre de données classique achemine des requêtes et des réponses entre des services qui n'ont pas besoin d'une synchronisation stricte. L'entraînement, lui, l'exige : c'est pourquoi Meta a ajouté il y a plusieurs années un second réseau Ethernet dédié, qui relie directement les GPU entre eux. Au sein d'un bâtiment, chaque fabric de ce type relie jusqu'à 20 736 GPU. Meta a d'abord utilisé la Disaggregated Scheduled Fabric, qui répartit les gros flux de données de longue durée pour éviter qu'ils ne se heurtent. Lorsque les cartes réseau ont appris à réordonner les paquets elles-mêmes, l'entreprise est passée à la Non-Scheduled Fabric, avec des commutateurs 51,2T.

Entre les bâtiments, un réseau d'agrégation s'appuie sur des châssis Arista 7800 équipés de puces Broadcom Jericho3, avec des liaisons de 2 à plus de 100 km. À ces distances, la vitesse de la lumière devient une contrainte : Meta, avec Superintelligence Labs, a donc conçu le parallélisme de sorte que le trafic sensible à la latence reste à l'intérieur d'une même copie du modèle. Entre les copies circule ce qui tolère mieux la latence. Au total, le réseau représente des dizaines de milliers de commutateurs et des millions de modules optiques.

Fiabilité : GPU de secours et analyse de chaque arrêt

Le passage de NVL8 à NVL72 a multiplié par neuf le « rayon d'impact » d'une panne : au lieu de huit GPU dans un domaine relié, il y en a désormais 72. La baie est donc devenue l'unité de base de la planification. L'entraînement se découpe plus facilement en groupes de puissances de deux : chaque baie fait tourner 64 GPU, et les huit restants forment une réserve à chaud. Si une carte tombe en panne, sa place est prise par une carte de secours, et la tâche redémarre à partir du dernier point de contrôle sans attendre la réparation.

Pour les pannes rares touchant une baie entière, Meta conserve en plus environ 2 % de baies en réserve. Une exécution sur 32 768 GPU actifs nécessite 523 baies NVL72, soit 37 656 GPU, soit environ 13 % au-delà de la puissance active. Sur ces 13 %, la quasi-totalité (11 %) correspond simplement à la géométrie « 64 sur 72 », et non à une taxe de fiabilité.

La complexité augmente aussi sur le plan physique : dans un seul domaine NVL72, on compte 5 184 liaisons à 200 Gb/s, et chacune peut tomber en panne à plusieurs endroits : dans les SerDes du GPU, sur la carte du plateau de calcul, dans les cartouches de câbles ou sur les interfaces du commutateur.

Meta décrit par ailleurs son mode de travail avec Nvidia. Les ingénieurs du fournisseur travaillent directement dans les centres de données, échangent la télémétrie et analysent ensemble chaque arrêt jusqu'à sa cause première. Meta se charge de la planification et de l'infrastructure, Nvidia des firmwares, du diagnostic des signaux et de la gestion de la mémoire. Cette transparence réduit les débats sur les responsabilités et accélère les corrections.

Résultat : le temps moyen entre interruptions (MTBI) lors des exécutions de Muse Wonder a atteint environ 47 000 heures-GPU, avant de dépasser 54 000 heures-GPU après les mises à jour de firmware sur l'ensemble du parc.

Ce qu'il faut en retenir

Pour qui construit sa propre infrastructure d'IA, la leçon est simple : la taille du cluster n'est que la moitié du problème. Une marge de GPU dans chaque baie, des redémarrages rapides depuis les points de contrôle et l'analyse des arrêts par cause permettent de maintenir un goodput supérieur à 85–90 %. Il faut toutefois garder à l'esprit que tous ces chiffres sont publiés par Meta elle-même, sans vérification indépendante. La logique reste en revanche applicable aux clusters plus modestes : il s'agit de calculer quelle part des heures-GPU payées sert réellement à l'entraînement, puis de s'attaquer aux causes des temps d'arrêt.

Dossier

Questions clés sur cet article

Que sait-on sur Quelle machine, et de quoi est-elle faite ?

Il y a deux ans, le site de New Albany était un centre de données classique pour le trafic web. Il a été reconverti pour l'entraînement de modèles de pointe. Aujourd'hui, Prometheus compte des centaines de milliers de GPU répartis dans plusieurs bâtiments reliés entre eux, dont des bâtiments classiques, des structures optimisées pour l'IA et des constructions modulaires rapides. L'ensemble est relié par des kilomètres de fibre optique et fonctionne comme une seule machine.

Que sait-on sur Réseau : les GPU doivent communiquer, pas attendre ?

Un centre de données classique achemine des requêtes et des réponses entre des services qui n'ont pas besoin d'une synchronisation stricte. L'entraînement, lui, l'exige : c'est pourquoi Meta a ajouté il y a plusieurs années un second réseau Ethernet dédié, qui relie directement les GPU entre eux. Au sein d'un bâtiment, chaque fabric de ce type relie jusqu'à 20 736 GPU. Meta a d'abord utilisé la Disaggregated Scheduled Fabric, qui répartit les gros flux de données de longue durée pour éviter qu'ils ne se heurtent.

Que sait-on sur Fiabilité : GPU de secours et analyse de chaque arrêt ?

Le passage de NVL8 à NVL72 a multiplié par neuf le « rayon d'impact » d'une panne : au lieu de huit GPU dans un domaine relié, il y en a désormais 72. La baie est donc devenue l'unité de base de la planification. L'entraînement se découpe plus facilement en groupes de puissances de deux : chaque baie fait tourner 64 GPU, et les huit restants forment une réserve à chaud.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…