Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DCoreWeave Blog→ original

CoreWeave treinou o DeepSeek-V3 671B em 17,65 minutos na Vera Rubin — 2,7 vezes mais rápido que a GB200

A CoreWeave testou no benchmark MLPerf Training v6.1 o quanto os novos chips Nvidia Vera Rubin são mais rápidos que a geração anterior, a GB200. O modelo DeepSeek-V3 de 671 bilhões de parâmetros atingiu a qualidade-alvo em 17,65 minutos com 256 GPUs distribuídas em quatro racks. Na GB200, com o mesmo número de GPUs, foram necessários 48,40 minutos, ou seja, 2,7 vezes mais tempo. Ao escolher uma nuvem para treinamento, compare o tempo até o alvo com o seu próprio número de GPUs, e não a ficha técnica do chip.

Processado por IA de CoreWeave Blog; editado por Hamidun News
CoreWeave treinou o DeepSeek-V3 671B em 17,65 minutos na Vera Rubin — 2,7 vezes mais rápido que a GB200
Fonte: CoreWeave Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalCoreWeave Blog ↗
Editor-chefe
Llama 3.1 8B em uma rack7,16 minutos contra 13,70 na GB200
Dado-chave #2Os ganhos foram calculados pela própria CoreWeave; a MLCommons não verificou esses números
Qwen3.5 397B com RL22,78 minutos em 256 GPUs, sendo 128 para treinamento e 128 para geração

Imagine que você aluga um cluster para treinar um modelo grande e paga por cada hora. Nos anúncios de nuvem, costumam aparecer os números de ficha técnica dos chips, mas eles não dizem quantas horas o treinamento vai levar na prática. Para isso existe o teste MLPerf Training, que mede quanto tempo um sistema leva para levar um modelo definido à qualidade-alvo.

Na rodada v6.1, a nuvem CoreWeave treinou o DeepSeek-V3 de 671 bilhões de parâmetros em 17,65 minutos com 256 GPUs Nvidia Rubin, distribuídas em quatro racks Vera Rubin NVL72 (cada rack tem 72 GPUs). A geração anterior, GB200 NVL72, usando o mesmo número de GPUs na mesma empresa, levou 48,40 minutos.

A diferença foi de 2,7 vezes: é esse o tempo e o dinheiro que se podem economizar em uma única execução.

O que foi medido e quais foram os resultados

O MLPerf Training v6.1 não mede o máximo teórico do chip, e sim o desempenho de todo o conjunto: aceleradores, rede, escalonador de tarefas e software. A CoreWeave participou da categoria Available da divisão fechada, ou seja, com equipamentos que estão disponíveis para clientes. Os sistemas iam de uma rack com 72 GPUs a quatro racks com 256 GPUs, e os modelos tinham de 8 a 671 bilhões de parâmetros.

O resultado mais expressivo foi o do DeepSeek-V3, com arquitetura mixture-of-experts (MoE): 17,65 minutos contra 48,40 na GB200. Segundo a empresa, ela foi o único provedor de nuvem a enviar, nesta rodada, resultados em várias racks Vera Rubin.

Em uma única rack, a equipe treinou o Llama 3.1 8B em 7,16 minutos. É o resultado mais rápido entre as submissões de 72 GPUs na rodada e 1,9 vez mais rápido que a GB200 NVL72 da mesma CoreWeave, que levou 13,70 minutos. Nos dois casos foram usados NVFP4 nas multiplicações de matrizes, FP8 na atenção e grafos CUDA. Pelo cálculo da empresa, uma rack conseguiria, em teoria, rodar cerca de oito execuções desse tipo por hora, sem contar a inicialização e a avaliação de qualidade.

Por que várias racks são complicadas

Em um modelo MoE, os tokens são direcionados, em cada camada, a especialistas que ficam em GPUs diferentes. Pense em um escritório em que cada pergunta precisa ser encaminhada ao especialista certo e a resposta precisa voltar: enquanto todos estão na mesma sala, é rápido. Quando os funcionários são espalhados por quatro andares, tudo depende dos elevadores. É isso que acontece aqui: dentro de uma rack, as GPUs se comunicam pela conexão interna de alta velocidade NVLink, e entre racks o tráfego passa pela malha de rede.

A CoreWeave conectou as racks por uma rede Ethernet com RoCE, usando switches Spectrum-6 de 102,4 Tbit/s e placas de rede SuperNIC. Além disso, ela usa posicionamento de tarefas com consciência de topologia, ou seja, procura colocar as partes do treinamento que se comunicam mais perto umas das outras. Há ainda um monitoramento de saúde do parque que identifica nós lentos ou com defeito antes que eles atrasem toda a execução. Uma única GPU lenta em um cluster grande pode desperdiçar tanto tempo útil quanto mais uma otimização de software.

Aprendizado por reforço e ressalvas

Outro resultado é o do Qwen3.5 397B com aprendizado por reforço (RL): 22,78 minutos em 256 GPUs distribuídas em quatro racks. Metade das GPUs, 128, cuidou do treinamento, e a outra metade, também 128, gerou as respostas. Esse benchmark foi o primeiro do MLPerf Training voltado ao ajuste fino de LLMs após o pré-treinamento, e sua carga é diferente: é preciso gerar, avaliar e atualizar o modelo ao mesmo tempo. Nessa parte, a empresa apresentou resultados na GB200 NVL72, assim como no caso do GPT-OSS 20B.

As ressalvas são importantes. Os ganhos de 2,7x e 1,9x foram calculados pela própria CoreWeave, comparando suas submissões na Vera Rubin e na GB200 com o mesmo número de GPUs, e a MLCommons não verificou esses cálculos. A afirmação de que ela foi a "única nuvem" também se baseia na análise própria da empresa sobre os resultados publicados. Além disso, trata-se de tarefas de referência: no seu dataset e na sua arquitetura, os números serão outros.

O que isso significa para quem trabalha com a prática

Primeiro: se você treina modelos MoE grandes, avalie a nuvem pelo tempo até o alvo em várias racks, e não pelas especificações de uma única placa. É nesse ponto que a rede e o escalonador determinam quanto você vai pagar. Segundo: para modelos menores e experimentos frequentes, o que importa é a velocidade de cada execução. Menos de dez minutos por rack significam mais iterações por dia. Terceiro: peça ao provedor resultados com o seu número de GPUs e dados sobre paradas e recuperação após falhas, porque são eles que separam um benchmark rápido de uma produção rápida.

História

Perguntas frequentes sobre a notícia

O que foi medido e quais foram os resultados?

O MLPerf Training v6.1 não mede o máximo teórico do chip, e sim o desempenho de todo o conjunto: aceleradores, rede, escalonador de tarefas e software. A CoreWeave participou da categoria Available da divisão fechada, ou seja, com equipamentos que estão disponíveis para clientes. Os sistemas iam de uma rack com 72 GPUs a quatro racks com 256 GPUs, e os modelos tinham de 8 a 671 bilhões de parâmetros.

Por que várias racks são complicadas?

Em um modelo MoE, os tokens são direcionados, em cada camada, a especialistas que ficam em GPUs diferentes. Pense em um escritório em que cada pergunta precisa ser encaminhada ao especialista certo e a resposta precisa voltar: enquanto todos estão na mesma sala, é rápido. Quando os funcionários são espalhados por quatro andares, tudo depende dos elevadores.

O que se sabe sobre Aprendizado por reforço e ressalvas?

Outro resultado é o do Qwen3.5 397B com aprendizado por reforço (RL): 22,78 minutos em 256 GPUs distribuídas em quatro racks. Metade das GPUs, 128, cuidou do treinamento, e a outra metade, também 128, gerou as respostas. Esse benchmark foi o primeiro do MLPerf Training voltado ao ajuste fino de LLMs após o pré-treinamento, e sua carga é diferente: é preciso gerar, avaliar e atualizar o modelo ao mesmo tempo. Nessa parte, a empresa apresentou resultados na GB200 NVL72, assim como no caso do GPT-OSS 20B.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…