NVIDIA Vera Rubin: cómo escalarán los desarrolladores la IA agéntica sin latencia

NVIDIA presentó la plataforma Vera Rubin, que aborda el principal problema para escalar la IA agéntica: la latencia impredecible en sesiones de varios pasos.

Por qué es más difícil escalar la IA agéntica

El escalado convencional de modelos funciona para el procesamiento por lotes (batch): se envían muchos textos y se reciben muchas respuestas. La IA agéntica funciona de otra manera. El agente toma una decisión, ejecuta una acción, mira el resultado y toma la siguiente decisión. Son cientos de peticiones al modelo en una sola sesión, cada una con un batch pequeño y un requisito de velocidad muy estricto. Como la trayectoria del agente no se conoce de antemano (no se sabe qué acción elegirá), compilar y optimizar el procesamiento es complicado. Los retrasos se acumulan y el contexto de 400K tokens se convierte en un cuello de botella.

La solución de tres capas de Vera Rubin

En lugar de un enfoque universal, NVIDIA integró en la plataforma tres tecnologías que funcionan en conjunto:

• Conexiones directas por cable entre chips: cada LPU se conecta con otras 96 a 112 Gbit/s, lo que ofrece 640 TB/s de ancho de banda por rack sin conmutadores
• Un compilador que planifica por adelantado todas las transferencias de datos: en lugar de decidir en tiempo de ejecución cuándo y adónde enviar los datos, el compilador calcula de antemano cada bit de información que circula por la red
• Sincronización de miles de chips independientes: el sistema alinea los relojes de los aceleradores LPU para que la red funcione con una latencia conocida y predecible

Aceleración híbrida: NVIDIA + Groq

La plataforma reparte el trabajo entre las GPU y aceleradores especializados. Vera Rubin NVL72 procesa las capas de attention (que prefieren un gran ancho de banda), mientras que Groq 3 LPX se encarga de las capas FFN (que exigen baja latencia en la generación secuencial). La caché KV se sincroniza entre ambos token a token. Suena complicado, pero el resultado es un sistema que funciona sin sacrificar velocidad por calidad.

Resultados

• 400 tokens por segundo en modelos MoE de 1 billón de parámetros con un contexto de 400K
• 35 veces más rendimiento por vatio que el GB200 NVL72
• Latencia predecible incluso cuando varios agentes trabajan a la vez

Qué significa

Para los desarrolladores de agentes de IA, esto significa que latencia y escalabilidad ya no son enemigas. Vera Rubin permite poner sobre la mesa modelos grandes (de un billón de parámetros) y ejecutar sobre ellos agentes complejos sin sacrificar la velocidad de respuesta. En la práctica, los asistentes personales, los automatizadores y los agentes de trabajo podrán funcionar con rapidez incluso con un contexto largo.