Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarMeta Engineering→ original

Meta revela Prometheus: cluster de um gigawatt treina modelos com 85% do tempo útil

A Meta abriu os bastidores do Prometheus, um cluster de um gigawatt em Ohio onde foram treinados os modelos Muse. Quando uma única placa falha no treino com milhares de GPUs, a tarefa inteira para, como uma linha de produção parada por causa de uma máquina. Por isso a Meta mede o goodput, a fração do tempo em que o cluster realmente treina o modelo: no Muse Wonder, passou de 85% no pré-treinamento e de 90% no RL. A conclusão é que, nessa escala, importam mais a folga de GPUs e o combate às falhas do que simplesmente a quantidade de unidades.

Processado por IA de Meta Engineering; editado por Hamidun News
Meta revela Prometheus: cluster de um gigawatt treina modelos com 85% do tempo útil
Fonte: Meta Engineering. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMeta Engineering ↗
Editor-chefe
Dado-chave #1Hoje, centenas de milhares de GPUs; na versão completa, cerca de 1 milhão
Dado-chave #2Em um rack de 72 GPUs, 64 treinam e outras 8 ficam como reserva quente
Tempo médio entre interrupções47 mil horas-GPU, subindo para 54 mil após atualizações de firmware

Quando se fala na corrida das laboratórios de IA, geralmente se contam GPUs e megawatts. Mas grandes tarefas de treinamento têm uma característica incômoda: funcionam como uma linha de produção, em que a parada de uma máquina atrasa toda a linha. Se algo quebra em um dos milhares de servidores, a tarefa inteira sofre.

A Meta Engineering publicou uma análise do Prometheus, um supercluster de cerca de um gigawatt em New Albany, Ohio, onde foi treinada a nova família de modelos Muse. A métrica central aqui é o goodput, isto é, a fração do tempo em que o cluster de fato treina o modelo, e não fica ocioso ou se recuperando de uma falha. No pré-treinamento do Muse Wonder, ela passou de 85%; no treinamento por aprendizado por reforço (RL), chegou a 90%.

Que máquina é essa e de que é feita

Há dois anos, o local em New Albany era um data center comum, voltado para tráfego web. Ele foi reformado para o treinamento de modelos de ponta. Hoje, o Prometheus são centenas de milhares de GPUs distribuídas por vários prédios interligados, incluindo construções convencionais, outras otimizadas para IA e estruturas de montagem rápida. Tudo está conectado por quilômetros de fibra óptica e funciona como uma única máquina. A primeira fase já está pronta, e, em sua forma completa, o cluster deve crescer para cerca de 1 milhão de GPUs. Para o resfriamento, é usado um circuito fechado de líquido.

Atualmente, o cluster abriga duas plataformas da Nvidia, e uma terceira está a caminho. A primeira, Catalina, é baseada no GB200 NVL72: 72 GPUs unidas por NVLink em um único domínio, 13,4 TB de memória HBM3e (192 GB por GPU), 720 petaflops em FP8 e cerca de 120 kW por sistema. A Meta escolheu a variante Ariel, com duas placas de rede de 400G por GPU, ou seja, 800G por placa de vídeo. A empresa avalia que o GB200 superou o H100 em todos os parâmetros, exceto na rede, e que esse desequilíbrio prejudicaria o desempenho.

A segunda plataforma, Clemente, usa o GB300 NVL72: 288 GB de memória por GPU (50% a mais), mais de um exaflop em FP4, com todas as 72 GPUs cabendo em um único rack. A rede de 800G por GPU vem de fábrica, há menos cabos e a manutenção é mais simples. O resfriamento é modular, ar e líquido, ou por líquido de fábrica, se o prédio for novo.

Rede: as GPUs precisam conversar, não esperar

Um data center comum movimenta requisições e respostas entre serviços que não exigem sincronia rígida. O treinamento exige exatamente essa sincronia, por isso a Meta acrescentou, há alguns anos, uma segunda rede Ethernet dedicada, para a comunicação direta entre GPUs. Dentro de cada prédio, cada uma dessas fábricas conecta até 20.736 GPUs. Inicialmente, usou-se a Disaggregated Scheduled Fabric, que separa grandes fluxos de dados de longa duração para que não colidam. Quando as placas de rede passaram a reordenar pacotes por conta própria, a empresa migrou para a Non-Scheduled Fabric, com switches de 51,2T.

Entre os prédios funciona uma rede de agregação baseada em chassis Arista 7800 com chips Broadcom Jericho3, com enlaces de 2 a mais de 100 km. Nessas distâncias, a velocidade da luz se torna um obstáculo, então a Meta, junto com a Superintelligence Labs, ajustou o esquema de paralelismo para que o tráfego sensível à latência permaneça dentro de uma mesma cópia do modelo. Entre as cópias trafega o que tolera melhor o atraso. No total, a rede reúne dezenas de milhares de switches e milhões de módulos ópticos.

Confiabilidade: GPUs de reserva e análise de cada parada

A migração de NVL8 para NVL72 aumentou em nove vezes o "raio de impacto" de uma falha: em vez de oito GPUs no domínio conectado, são agora 72. Por isso o rack tornou-se a principal unidade de planejamento. O treinamento é mais fácil de dividir em grupos de potências de dois, de modo que cada rack roda 64 GPUs e as outras oito ficam como reserva quente. Se uma placa falha, outra reserva assume o lugar, e a tarefa reinicia a partir do último checkpoint, sem esperar o conserto.

Para as raras falhas de um rack inteiro, a Meta mantém mais cerca de 2% de racks em reserva. Para uma execução com 32.768 GPUs ativas, são necessários 523 racks NVL72, ou seja, 37.656 GPUs, cerca de 13% acima da capacidade ativa. Desses 13%, quase tudo (11%) corresponde apenas à geometria de "64 de 72", e não a um custo de confiabilidade.

A complexidade também cresce fisicamente: em um único domínio NVL72 há 5.184 enlaces de 200 Gb/s, e cada um pode falhar em vários pontos, como o SerDes da GPU, a placa da bandeja de computação, os cartuchos de cabo ou as interfaces do switch.

A Meta também descreve o modelo de trabalho com a Nvidia. Engenheiros do fornecedor ficam dentro dos data centers, trocam telemetria e analisam juntos cada parada até a causa raiz. A Meta cuida do planejamento e da infraestrutura; a Nvidia, dos firmwares, do diagnóstico de sinais e do trabalho com memória. Essa transparência reduz discussões sobre a culpa e acelera as correções.

O resultado: o tempo médio entre interrupções (MTBI) nas execuções do Muse Wonder ficou em cerca de 47 mil horas-GPU e, após as atualizações de firmware em todo o parque, subiu para mais de 54 mil.

O que isso significa

Para quem constrói a própria infraestrutura de IA, a lição é direta: o tamanho do cluster é apenas metade da questão. A folga em cada rack, os reinícios rápidos a partir de checkpoints e a análise das paradas por causa mantêm o goodput acima de 85–90%. Há também uma ressalva: todos os números são divulgados pela própria Meta, sem verificação independente. Ainda assim, a lógica vale também para clusters menores: calcule que fração das horas-GPU pagas vai para treinamento de fato e trate as causas das paradas.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Que máquina é essa e de que é feita?

Há dois anos, o local em New Albany era um data center comum, voltado para tráfego web. Ele foi reformado para o treinamento de modelos de ponta. Hoje, o Prometheus são centenas de milhares de GPUs distribuídas por vários prédios interligados, incluindo construções convencionais, outras otimizadas para IA e estruturas de montagem rápida. Tudo está conectado por quilômetros de fibra óptica e funciona como uma única máquina.

O que se sabe sobre Rede: as GPUs precisam conversar, não esperar?

Um data center comum movimenta requisições e respostas entre serviços que não exigem sincronia rígida. O treinamento exige exatamente essa sincronia, por isso a Meta acrescentou, há alguns anos, uma segunda rede Ethernet dedicada, para a comunicação direta entre GPUs. Dentro de cada prédio, cada uma dessas fábricas conecta até 20.736 GPUs. Inicialmente, usou-se a Disaggregated Scheduled Fabric, que separa grandes fluxos de dados de longa duração para que não colidam.

O que se sabe sobre Confiabilidade: GPUs de reserva e análise de cada parada?

A migração de NVL8 para NVL72 aumentou em nove vezes o "raio de impacto" de uma falha: em vez de oito GPUs no domínio conectado, são agora 72. Por isso o rack tornou-se a principal unidade de planejamento. O treinamento é mais fácil de dividir em grupos de potências de dois, de modo que cada rack roda 64 GPUs e as outras oito ficam como reserva quente. Se uma placa falha, outra reserva assume o lugar, e a tarefa reinicia a partir do último checkpoint, sem esperar o conserto.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…