Vera Rubin NVL72 supera a GB300 hasta 5,7 veces en tokens por megavatio en AA-AgentPerf

Las primeras cifras independientes de NVIDIA Vera Rubin NVL72 muestran una ventaja muy desigual sobre su predecesor, según el régimen de uso. Artificial Analysis ha incorporado el rack a su benchmark AA-AgentPerf. En throughput total por megavatio de potencia de GPU, Rubin supera a GB300 NVL72 hasta 5,7x en DeepSeek V4 Pro (con ~190 tok/s por usuario), hasta 5,4x en DeepSeek V4.1 Flash (~580 tok/s), 3,0x en GLM-5.2 (~165 tok/s) y 2,8x en Kimi K3 (~67 tok/s). Sin embargo, en rendimiento pico la diferencia es mucho menor: 1,14x, 1,45x, 1,35x y 1,26x, respectivamente.

Por qué el coding agéntico es tan difícil de servir

AA-AgentPerf no ejecuta prompts fijos. Reproduce trayectorias reales de agentes de programación que resolvieron tareas en repositorios públicos: 500 trayectorias y 18 997 solicitudes. Cada solicitud puede llevar hasta 132K tokens de entrada, mientras que la respuesta suele reducirse a una breve llamada a una herramienta. De media, el 97 % de la entrada repite la solicitud anterior. Una de las trayectorias largas crece de 10K a 116K tokens en 118 solicitudes y envía al modelo 9,7M tokens de entrada, de los cuales solo 116K son nuevos.

Por eso todo depende de la capacidad y la reutilización del KV-cache, del prefill irregular (de unos pocos tokens a 69K por turno) y del tiempo hasta el primer token. Entre solicitudes, el agente espera hasta 5 segundos mientras se ejecuta la herramienta, y la caché tiene que sobrevivir a esa pausa.

Qué ha cambiado en el hardware

El rack mantiene el diseño de GB300: 72 GPU y 36 CPU en un mismo dominio NVLink. La memoria por GPU sigue siendo de 288 GB, pero ahora es HBM4.

• Ancho de banda de memoria: 19,2 TB/s frente a 8 TB/s de Blackwell Ultra (2,4x).
• NVLink 6: 3,0 TB/s frente a 1,8 TB/s.
• Cómputo denso NVFP4: 35 PFLOPS frente a 15 PFLOPS (2,3x).
• CPU: Vera con 88 núcleos frente a los 72 de Grace, y un enlace NVLink-C2C hacia la GPU de 1,8 TB/s frente a 0,9 TB/s. Por ese enlace circula el KV-cache volcado a la memoria de la CPU.
• Potencia medida de la GPU bajo carga: 0,5–1,9 kW frente a 0,3–1,0 kW.

En el pico, Rubin alcanza 272M tokens/s por MW en DeepSeek V4 Pro (GB300: 239M), 571M en DeepSeek V4.1 Flash (395M), 272M en GLM-5.2 (201M) y 70M en Kimi K3 (56M). La cifra de 571M es un récord de todo el leaderboard. Por GPU, la ventaja es mayor: 2,0–2,5x en el pico y hasta ~18x en DeepSeek V4.1 Flash a ~580 tok/s.

La distancia crece justo donde GB300 se desploma. En DeepSeek V4 Pro, pasar de ~120 a ~165 tok/s por usuario le cuesta a GB300 un 81 % de throughput por MW, mientras que a Rubin solo le cuesta un 16 %. Rubin también marca récords de velocidad: 906 tok/s en DeepSeek V4.1 Flash (más rápido que cualquier resultado de cualquier modelo), 408 tok/s en GLM-5.2 y 255 tok/s en Kimi K3.

Dónde el panorama es menos claro

Los resultados tienen salvedades, y Artificial Analysis las detalla. El tiempo mediano hasta el primer token de Rubin en DeepSeek V4 Pro a ~165 tok/s es de 1,65 s, frente a 1,08 s de GB300. Si se mide la velocidad end-to-end, que incluye esa espera, GB300 iguala a Rubin o lo supera en throughput por MW en la mayoría de los regímenes.

Los racks GB300 de NVIDIA en DeepSeek V4 Pro solo llegan a ~163 tok/s por usuario. A partir de ahí, la línea de GB300 se construye con pequeñas configuraciones de 4 GPU montadas por la propia Artificial Analysis. Por encima de ~255 tok/s, esas configuraciones generan más tokens por MW que Rubin.

En DeepSeek V4.1 Flash, NVIDIA limitó las respuestas a 2 048 tokens, mientras que en los demás resultados el límite es de 16 384. Alrededor del 2 % de las respuestas llegó al límite, y la longitud media de las respuestas es aproximadamente una décima parte menor. Esto favorece ligeramente a Rubin. Además, solo se mide la potencia de las GPU con HBM, sin contar CPU, redes ni refrigeración.

Qué comprobar antes de comprar

La ventaja de Rubin es mayor allí donde el producto depende de una alta velocidad por usuario: agentes rápidos con respuestas cortas y un contexto largo en caché. Si lo que limita su centro de datos es la potencia disponible y no el número de aceleradores, la referencia es esta: a ~165 tok/s por usuario, el mismo presupuesto de potencia produce aproximadamente 5 veces más tokens de DeepSeek V4 Pro que con GB300.

Antes de decidir, compare su métrica objetivo: velocidad end-to-end o velocidad tras el primer token. Compruebe también la sensibilidad a la latencia de arranque: en escenarios interactivos, 0,5 segundos de diferencia se notan. Cada punto del leaderboard tiene su artefacto: la configuración de serving en el navegador de configuraciones. Sirve como punto de partida para el tuning sin tener que hacer una investigación de rendimiento propia.