Groq, la primera en desplegar NVIDIA Groq 3 LPX: 3400 tokens/s con Gemma 4 31B

Groq será uno de los primeros operadores de NVIDIA Groq 3 LPX, un acelerador que refuerza la generación de tokens en los racks Vera Rubin NVL72. La compañía desplegará ambas plataformas en su propia nube de inferencia, GroqCloud, y Dell Technologies se encargará del suministro y la integración. La cifra principal de las pruebas publicadas por NVIDIA: 3400 tokens de salida por segundo con el modelo agéntico abierto Gemma 4 31B y un contexto de 100 mil tokens. La medición se realizó en el benchmark de Artificial Analysis.

Qué ha declarado NVIDIA

LPX se suma a Vera Rubin NVL72 como una capa independiente para la decodificación. Eleva la velocidad de emisión de tokens en los casos en que el contexto es largo y el agente ejecuta muchos pasos consecutivos. Los principales indicadores declarados:

• 3400 tokens de salida por segundo con Gemma 4 31B y un contexto de 100K tokens;
• una interactividad 4 veces mayor en cargas agénticas sensibles a la latencia que la de la plataforma alternativa más cercana;
• tareas agénticas como la programación se completan en minutos en lugar de horas.

El nombre del producto indica que la arquitectura LPU, con la que Groq trabajó durante años, sale ahora bajo la marca NVIDIA. Dion Harris, de NVIDIA, resume la lógica así: la IA agéntica necesita más tokens, respuesta rápida y bajo coste al escalar. Vera Rubin aporta el rendimiento (throughput) y Groq 3 LPX, la baja latencia.

Por qué Groq ha sido la primera

El argumento de la compañía: no existe otro equipo con experiencia en operar LPU en producción a esta escala. Según sus datos, en GroqCloud trabajan más de seis millones de desarrolladores, empresas de la lista Fortune 500 y miles de compañías AI-native. La plataforma genera billones de tokens a la semana en centros de datos de Norteamérica, Europa, Oriente Medio y Asia-Pacífico.

En agosto, Groq obtuvo el estatus de NVIDIA Cloud Partner. Esto significa que diseña, despliega y opera clústeres de cómputo conforme a la arquitectura de referencia y los estándares operativos de NVIDIA. El nuevo lanzamiento continúa en esa línea. Dell, según su vicepresidente Arunkumar Narayanan, cubre la infraestructura integrada y las cadenas de suministro globales. El director técnico de Groq, Sinclair Schuller, define la plataforma como una nueva clase de aceleradores de inferencia interactivos.

Qué falta en el anuncio

El comunicado de prensa no indica precios por token, plazos de puesta en marcha de la capacidad, número de racks desplegados ni regiones en las que LPX llegará primero. Tampoco revela cuál es la «plataforma alternativa más cercana» con la que se compara la mejora de cuatro veces. Las cifras de 3400 tokens por segundo se obtuvieron con un modelo de 31 mil millones de parámetros. Con los modelos cerrados de gama alta, el resultado puede ser distinto. Además, se trata de datos del proveedor, no de una verificación independiente con cargas de trabajo reales.

Conclusión práctica para los equipos

Si construyes agentes, calcula la latencia de todo el ciclo, no de una sola respuesta. Un agente de programación encadena decenas de llamadas, y la velocidad de decodificación con contexto largo se suma al tiempo final de la tarea. Mientras no haya precios ni plazos públicos, conviene:

• medir en tus propios escenarios qué parte del tiempo corresponde a la generación de tokens y no a las llamadas a herramientas ni a las esperas;
• ejecutar tareas con 50–100K tokens de contexto, donde, según NVIDIA, la ventaja es máxima;
• solicitar a Groq acceso a pruebas tempranas y las condiciones de coste por token;
• no atar la arquitectura a un único proveedor: los modelos abiertos como Gemma 4 permiten comparar nubes con la misma carga.