Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarMeta Engineering→ original

Meta revela Prometheus: un clúster de un gigavatio que entrena modelos con un 85 % de tiempo útil

Meta ha mostrado por dentro Prometheus, un clúster de un gigavatio en Ohio donde entrenó los modelos Muse. En un entrenamiento con miles de GPU, si se rompe una sola tarjeta, se detiene toda la tarea, igual que una cadena de montaje cuando falla una máquina. Por eso Meta mide el goodput: la fracción de tiempo en que el clúster realmente entrena el modelo. En Muse Wonder supera el 85 % en el preentrenamiento y el 90 % en el RL. La conclusión es que, a esta escala, importan más la reserva de GPU y la lucha contra los fallos que el número bruto de chips.

Procesado por IA desde Meta Engineering; editado por Hamidun News
Meta revela Prometheus: un clúster de un gigavatio que entrena modelos con un 85 % de tiempo útil
Fuente: Meta Engineering. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalMeta Engineering ↗
Editor jefe
Dato clave #1Ahora mismo, cientos de miles de GPU; la versión completa rondará el millón
Dato clave #2En un rack de 72 GPU, 64 entrenan y 8 esperan como reserva en caliente
Tiempo entre paradas47 000 horas-GPU, y 54 000 tras las actualizaciones de firmware

Cuando se habla de la carrera de los laboratorios de IA, normalmente se cuentan GPU y megavatios. Pero los grandes trabajos de entrenamiento tienen un inconveniente: funcionan como una cadena de montaje, donde la parada de una máquina frena toda la línea. Si falla uno de los miles de servidores, se resiente toda la tarea.

Meta Engineering ha publicado un análisis de Prometheus, un supercúmulo de unos mil millones de vatios en New Albany, Ohio, donde se entrenó la nueva familia de modelos Muse. La métrica clave aquí es el goodput, es decir, la fracción de tiempo en que el clúster entrena realmente el modelo, en lugar de estar parado o recuperándose de un fallo. En el preentrenamiento de Muse Wonder superó el 85 %, y en el aprendizaje por refuerzo (RL), el 90 %.

Qué máquina es y de qué está hecha

Hace dos años, el emplazamiento de New Albany era un centro de datos convencional para tráfico web. Se reconvirtió para entrenar modelos de vanguardia. Hoy Prometheus son cientos de miles de GPU repartidas en varios edificios conectados, que incluyen construcciones convencionales, otras optimizadas para la IA y otras de montaje rápido. Todo está unido con kilómetros de fibra óptica y funciona como una sola máquina. La primera fase ya está lista, y en su versión completa el clúster debería crecer hasta unas 1 000 000 de GPU. La refrigeración emplea un circuito cerrado de líquido.

Actualmente hay dos plataformas de Nvidia en el clúster, y una tercera está en camino. La primera, Catalina, se basa en GB200 NVL72: 72 GPU unidas mediante NVLink en un único dominio, 13,4 TB de memoria HBM3e (192 GB por GPU), 720 petaflops en FP8 y unos 120 kW por sistema. Meta eligió la variante Ariel, con dos tarjetas de red de 400G por GPU, es decir, 800G por acelerador. La compañía considera que el GB200 mejoró en todos los parámetros respecto al H100, salvo en la red, y que ese desequilibrio habría costado rendimiento.

La segunda plataforma, Clemente, usa GB300 NVL72: 288 GB de memoria por GPU (un 50 % más), más de un exaflop en FP4, y las 72 GPU caben en un solo rack. La red de 800G por GPU viene de serie, hay menos cables y el mantenimiento es más sencillo. La refrigeración puede ser modular aire-líquido o líquido de fábrica si el edificio es nuevo.

Red: las GPU tienen que hablar, no esperar

Un centro de datos normal mueve peticiones y respuestas entre servicios que no necesitan una sincronía estricta. El entrenamiento sí la necesita, así que Meta añadió hace unos años una segunda red Ethernet dedicada a la comunicación directa entre GPU. Dentro de cada edificio, cada una de estas fábricas conecta hasta 20 736 GPU. Al principio se usó Disaggregated Scheduled Fabric, que separa los grandes flujos de datos de larga duración para que no colisionen. Cuando las tarjetas de red aprendieron a reordenar los paquetes por sí mismas, se pasó a Non-Scheduled Fabric con conmutadores de 51,2T.

Entre edificios funciona una red agregadora sobre chasis Arista 7800 con chips Broadcom Jericho3, con enlaces de entre 2 y más de 100 km. A esas distancias la velocidad de la luz se convierte en un obstáculo, así que Meta, junto con Superintelligence Labs, diseñó el esquema de paralelismo para que el tráfico sensible a la latencia se quede dentro de una misma copia del modelo. Entre copias circula lo que tolera mejor la latencia. En conjunto, la red suma decenas de miles de conmutadores y millones de módulos ópticos.

Fiabilidad: GPU de reserva y análisis de cada parada

La transición de NVL8 a NVL72 multiplicó por nueve el radio de impacto de un fallo: en lugar de ocho GPU en un dominio conectado, ahora son 72. Por eso el rack se convirtió en la unidad básica de planificación. El entrenamiento se divide mejor en grupos de potencias de dos, de modo que en cada rack trabajan 64 GPU y las ocho restantes actúan como reserva en caliente. Si una tarjeta falla, la sustituye una de reserva y la tarea se reinicia desde el último punto de control sin esperar a la reparación.

Para los fallos poco frecuentes de un rack entero, Meta mantiene además alrededor de un 2 % de racks de reserva. Una ejecución con 32 768 GPU activas necesita 523 racks NVL72, es decir, 37 656 GPU, unas 13 % por encima de la potencia activa. De ese 13 %, casi todo (11 %) corresponde a la simple geometría de «64 de 72», y no a un impuesto por fiabilidad.

La complejidad crece también a nivel físico: en un solo dominio NVL72 hay 5184 enlaces de 200 Gb/s, y cada uno puede fallar en varios puntos: en los SerDes de la GPU, en la placa de la bandeja de cómputo, en los cartuchos de cable o en las interfaces del conmutador.

Además, Meta describe su modelo de trabajo con Nvidia. Los ingenieros del fabricante trabajan dentro de los propios centros de datos, intercambian telemetría y analizan juntos cada parada hasta su causa raíz. Meta se encarga de la planificación y la infraestructura, y Nvidia del firmware, el diagnóstico de señales y la gestión de la memoria. Esta transparencia reduce las discusiones sobre a quién corresponde la culpa y acelera las correcciones.

El resultado: el tiempo medio entre paradas (MTBI) en las ejecuciones de Muse Wonder fue de unas 47 000 horas-GPU, y tras las actualizaciones de firmware en todo el parque subió a más de 54 000.

Qué implica todo esto

Para quien construye su propia infraestructura de IA, la lección es sencilla: el tamaño del clúster es solo la mitad del asunto. La reserva en cada rack, los reinicios rápidos desde puntos de control y el análisis de las paradas por causa mantienen el goodput por encima del 85-90 %. Hay además una salvedad: todas las cifras las publica la propia Meta, sin verificación independiente. Pero la lógica también sirve para clústeres más pequeños: conviene calcular qué fracción de las horas-GPU pagadas se dedica al entrenamiento real y atacar las causas de los tiempos muertos.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué máquina es y de qué está hecha?

Hace dos años, el emplazamiento de New Albany era un centro de datos convencional para tráfico web. Se reconvirtió para entrenar modelos de vanguardia. Hoy Prometheus son cientos de miles de GPU repartidas en varios edificios conectados, que incluyen construcciones convencionales, otras optimizadas para la IA y otras de montaje rápido. Todo está unido con kilómetros de fibra óptica y funciona como una sola máquina.

¿Qué se sabe sobre Red: las GPU tienen que hablar, no esperar?

Un centro de datos normal mueve peticiones y respuestas entre servicios que no necesitan una sincronía estricta. El entrenamiento sí la necesita, así que Meta añadió hace unos años una segunda red Ethernet dedicada a la comunicación directa entre GPU. Dentro de cada edificio, cada una de estas fábricas conecta hasta 20 736 GPU. Al principio se usó Disaggregated Scheduled Fabric, que separa los grandes flujos de datos de larga duración para que no colisionen.

¿Qué se sabe sobre Fiabilidad: GPU de reserva y análisis de cada parada?

La transición de NVL8 a NVL72 multiplicó por nueve el radio de impacto de un fallo: en lugar de ocho GPU en un dominio conectado, ahora son 72. Por eso el rack se convirtió en la unidad básica de planificación. El entrenamiento se divide mejor en grupos de potencias de dos, de modo que en cada rack trabajan 64 GPU y las ocho restantes actúan como reserva en caliente. Si una tarjeta falla, la sustituye una de reserva y la tarea se reinicia desde el último punto de control sin esperar a la reparación.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…