Vera Rubin NVL72 supera o GB300 em até 5,7x em tokens por megawatt no AA-AgentPerf

Os primeiros números independentes sobre o NVIDIA Vera Rubin NVL72 mostram uma vantagem muito variável sobre o antecessor, dependendo do regime de operação. A Artificial Analysis incluiu o rack no benchmark AA-AgentPerf. Em throughput total por megawatt de potência de GPU, o Rubin supera o GB300 NVL72 em até 5,7x no DeepSeek V4 Pro (a ~190 tokens/s por usuário), até 5,4x no DeepSeek V4.1 Flash (~580 tokens/s), 3,0x no GLM-5.2 (~165 tokens/s) e 2,8x no Kimi K3 (~67 tokens/s). Já na vazão de pico, a diferença é bem menor: 1,14x, 1,45x, 1,35x e 1,26x, respectivamente.

Por que o coding agêntico é difícil de servir

O AA-AgentPerf não roda prompts fixos. Ele reproduz trajetórias reais de agentes de código que resolveram tarefas em repositórios públicos: 500 trajetórias e 18 997 requisições. Cada requisição carrega até 132K tokens de entrada, e a resposta muitas vezes se resume a uma chamada curta de ferramenta. Em média, 97% da entrada repete a requisição anterior. Uma das trajetórias longas cresce de 10K para 116K tokens em 118 requisições e envia ao modelo 9,7M tokens de entrada, dos quais apenas 116K são novos.

Por isso, tudo depende da capacidade e do reaproveitamento do KV-cache, do prefill irregular (de alguns tokens a 69K por turno) e do tempo até o primeiro token. Entre uma requisição e outra, o agente espera até 5 segundos pela chamada da ferramenta, e o cache precisa sobreviver a essa pausa.

O que mudou no hardware

O rack manteve o design do GB300: 72 GPUs e 36 CPUs em um único domínio NVLink. A memória por GPU continua em 288 GB, mas agora é HBM4.

• Largura de banda de memória: 19,2 TB/s contra 8 TB/s do Blackwell Ultra (2,4x).
• NVLink 6: 3,0 TB/s contra 1,8 TB/s.
• Computação densa em NVFP4: 35 PFLOPS contra 15 PFLOPS (2,3x).
• CPU: Vera com 88 núcleos contra 72 do Grace, e link NVLink-C2C até a GPU de 1,8 TB/s contra 0,9 TB/s. É por ele que passa o KV-cache descarregado para a memória da CPU.
• Potência medida da GPU sob carga: 0,5–1,9 kW contra 0,3–1,0 kW.

No pico, o Rubin entrega 272M tokens/s por MW no DeepSeek V4 Pro (o GB300 faz 239M), 571M no DeepSeek V4.1 Flash (395M), 272M no GLM-5.2 (201M) e 70M no Kimi K3 (56M). O número de 571M é o recorde de todo o leaderboard. Por GPU, a vantagem é maior: 2,0–2,5x no pico e até ~18x no DeepSeek V4.1 Flash a ~580 tokens/s.

A vantagem cresce justamente onde o GB300 “desmorona”. No DeepSeek V4 Pro, subir de ~120 para ~165 tokens/s por usuário custa ao GB300 81% do throughput por MW, contra apenas 16% no Rubin. O Rubin também bate recordes de velocidade: 906 tokens/s no DeepSeek V4.1 Flash (mais rápido que qualquer resultado de qualquer modelo), 408 tokens/s no GLM-5.2 e 255 tokens/s no Kimi K3.

Onde o quadro é menos claro

Os resultados têm ressalvas, e a Artificial Analysis as apresenta. A mediana do tempo até o primeiro token do Rubin no DeepSeek V4 Pro, a ~165 tokens/s, é de 1,65 s contra 1,08 s do GB300. Se a medição for de velocidade end-to-end, que inclui essa espera, o GB300 empata com o Rubin ou o supera em throughput por MW na maioria dos regimes.

Os racks GB300 da NVIDIA no DeepSeek V4 Pro chegam a apenas ~163 tokens/s por usuário. Acima disso, a curva do GB300 é traçada com pequenas configurações de 4 GPUs montadas pela própria Artificial Analysis. Acima de ~255 tokens/s, essas configs entregam mais tokens por MW do que o Rubin.

No DeepSeek V4.1 Flash, a NVIDIA limitou as respostas a 2 048 tokens, enquanto nos demais resultados o limite é de 16 384. Cerca de 2% das respostas chegaram ao limite, e o tamanho médio da resposta é cerca de um décimo menor. Isso favorece levemente o Rubin. Além disso, só a potência das próprias GPUs com HBM é medida, sem CPU, redes e refrigeração.

O que verificar antes da compra

O ganho do Rubin é maior onde o produto depende de alta velocidade por usuário: agentes rápidos, com respostas curtas e contexto longo em cache. Se o gargalo é o limite de potência do data center, e não o número de aceleradores, a referência é esta: a ~165 tokens/s por usuário, o mesmo orçamento de potência rende cerca de 5 vezes mais tokens do DeepSeek V4 Pro do que no GB300.

Antes de decidir, compare a sua métrica-alvo: velocidade end-to-end ou velocidade após o primeiro token. Verifique também a sensibilidade à latência de início: em cenários interativos, 0,5 segundo de diferença é perceptível. Cada ponto do leaderboard tem um artefato: a configuração de serving, disponível no navegador de configs. Ela serve de ponto de partida para o tuning, sem a necessidade de um estudo próprio de desempenho.