vLLM ya funciona en Vera Rubin NVL72: 7,8 veces más rendimiento por GPU

El proyecto vLLM, el motor abierto más popular para la inferencia de grandes modelos de lenguaje, ha anunciado soporte para el sistema a escala de rack NVIDIA Vera Rubin NVL72. Según el blog del proyecto, en la carga AgentX el rendimiento por GPU es 7,8 veces superior al de la generación anterior, GB200 NVL72. La versión incluye soporte de modelos desde el día cero, kernels FlashInfer ajustados a la arquitectura Rubin y enrutamiento MoE que tiene en cuenta la localidad.

La cifra es llamativa, pero primero conviene entender qué se ha medido exactamente.

Qué se afirma

La comparación se hace a nivel de GPU individual, no de rack completo. Ambas plataformas pertenecen a la clase NVL72: 72 aceleradores unidos en un único dominio NVLink. Por eso la comparación es formalmente justa: rack contra rack, acelerador contra acelerador.

Como carga de trabajo se ha elegido AgentX. A juzgar por el nombre y el contexto, se trata de un escenario de inferencia agéntica: contextos largos, muchas llamadas secuenciales al modelo y uso intensivo de la caché. El anuncio original no ofrece detalles, y ese es el principal vacío. La configuración de los modelos, la precisión de cálculo (FP8, FP4 o mixta), el tamaño de los lotes y las restricciones de latencia determinan directamente hasta qué punto la cifra es extrapolable a su producción.

Parámetros clave de la versión:

• Plataforma: NVIDIA Vera Rubin NVL72 frente a GB200 NVL72.
• Motor: vLLM con soporte para Rubin desde el primer día.
• Kernels: FlashInfer, ajustados a Rubin.
• MoE: distribución de expertos con conciencia de localidad (locality-aware).
• Métrica: rendimiento por GPU.
• Resultado: 7,8x en la carga AgentX.

De dónde viene la aceleración

Los autores señalan tres componentes. El primero es el propio hardware de Rubin. El anuncio no separa qué parte de la mejora corresponde al hardware y cuál al software, y eso es relevante. Si una parte considerable de la ganancia procede de optimizaciones de kernels y de enrutamiento, es posible que con el tiempo parte de esa mejora llegue también a Blackwell. En ese caso, la brecha real entre generaciones sería menor que 7,8x.

El segundo es FlashInfer. Esta biblioteca implementa la atención y operaciones afines, y de la calidad de esos kernels depende cuánta de la potencia teórica del chip se convierte en tokens. Los kernels escritos para una arquitectura concreta suelen aportar la mejora más perceptible en hardware nuevo.

El tercero es el MoE con conciencia de localidad. En los modelos de mezcla de expertos, los tokens se reparten entre distintas GPU y el intercambio entre tarjetas suele convertirse en un cuello de botella. Si los expertos se colocan y se enrutan de modo que la mayor parte del tráfico quede dentro de los vecinos más cercanos según la topología, la carga sobre la interconexión baja. En escenarios agénticos con sesiones largas, esta optimización se nota especialmente.

Dónde leer la letra pequeña

La cifra procede del blog del propio vLLM, es decir, el benchmark lo han preparado los desarrolladores del motor y no un laboratorio independiente. No hay datos de latencia por token ni de coste por millón de tokens, y para la operación son justamente esos los que determinan la economía. Un mayor rendimiento por GPU no implica necesariamente una reducción proporcional del precio: un rack de nueva generación cuesta más, consume más energía y requiere una refrigeración más compleja.

Aun así, el hecho de que haya soporte desde el día 0 es significativo. Antes, el hardware nuevo esperaba meses a contar con software maduro, y durante ese periodo el rendimiento real quedaba claramente por debajo del nominal. Aquí, la pila está lista para la llegada de los racks.

Qué deben hacer los equipos

Si planea comprar o alquilar Rubin, no incluya 7,8x en su plan de negocio. Pida al proveedor una ejecución con su modelo y su perfil de peticiones, con las mismas restricciones de latencia que en producción. Compare el coste por token, no los tokens por segundo por tarjeta.

Si trabaja con Blackwell, actualice vLLM y FlashInfer y vuelva a medir su línea base: parte de las mejoras de software puede aplicarse también ahí. En los modelos MoE, compruebe además cómo se colocan los expertos en su topología. Para el resto de los equipos, la conclusión útil es más sencilla: la pila de inferencia alcanza al hardware más rápido que antes y, al parecer, ya no hace falta esperar meses de maduración tras el lanzamiento de los chips.