Nvidia presenta Groq 3 y apuesta por chips dedicados a la inferencia de IA

Nvidia ha mostrado Groq 3, el primer chip de la compañía diseñado específicamente para la inferencia de IA y no para el entrenamiento de modelos. Es una señal importante: el mercado pasa de la carrera por modelos cada vez más grandes a la carrera por la rapidez y el bajo coste con que esos modelos responden a los usuarios.

Por qué Nvidia cambia de rumbo

En la conferencia GTC, el director de Nvidia anunció no solo la línea Vera Rubin, sino también una clase aparte de procesadores para ejecutar modelos. Groq 3 LPU se basa en tecnología licenciada de la startup Groq, con la que Nvidia cerró un acuerdo a finales del año pasado. Que hayan pasado solo unos dos meses y medio entre la licencia y el anuncio del producto demuestra la rapidez con que crece la demanda de inferencia en los centros de datos.

«Por fin la IA es capaz de hacer un trabajo útil, y el punto de

inflexión de la inferencia ya ha llegado».

El entrenamiento y la inferencia resuelven problemas distintos, por lo que necesitan hardware distinto. Durante el entrenamiento, el sistema pasa semanas procesando enormes volúmenes de datos y actualizando los pesos del modelo. La inferencia ocurre en el momento en que el usuario hace una petición, y en los modelos de razonamiento una sola sesión puede incluir muchos pasos internos antes de que la persona vea la respuesta. Aquí no importan los FLOPS máximos, sino la latencia, un flujo de datos estable y un tiempo de generación de tokens predecible.

Cómo está construido Groq 3

El enfoque de Groq difiere del esquema habitual de las GPU. En lugar de depender de una memoria HBM de alto ancho de banda junto al procesador gráfico, el chip usa SRAM integrada directamente en el bloque de cálculo. Esto simplifica el movimiento de datos: pasan por el procesador de forma lineal, sin viajes innecesarios de ida y vuelta. Así, la arquitectura sacrifica versatilidad, pero gana donde se necesita la respuesta más rápida posible. Para la inferencia, donde el modelo genera tokens de forma secuencial y no calcula todo en un único lote grande, este diseño resulta especialmente útil.

La diferencia también se nota en las especificaciones. La GPU Rubin sigue siendo una máquina para cálculos pesados y modelos grandes, mientras que Groq 3 se ha diseñado con otro objetivo: la latencia mínima en la fase de decode, cuando la respuesta ya empieza a ensamblarse token a token. En cómputo general y capacidad de memoria, la LPU es notablemente más modesta, pero gana en ancho de banda y se adapta mejor a la salida final. Por eso Nvidia no sustituye la GPU por una nueva clase de chip, sino que la complementa con un acelerador especializado.

• La GPU Rubin tiene 288 GB de HBM; Groq 3, unos 500 MB de SRAM integrada
• Rubin ofrece hasta 50 petaflops en cálculo de 4 bits; Groq 3, 1,2 petaflops en 8 bits
• Groq 3 alcanza 150 TB/s de ancho de banda de memoria frente a 22 TB/s de Rubin
• El foco de Groq 3 no es la versatilidad, sino la generación rápida de tokens con baja latencia

El mercado se vuelca en la inferencia

En los últimos dos años se ha producido una auténtica explosión de startups de chips de inferencia. D-Matrix apuesta por el digital in-memory compute, Etched por ASIC para transformers, RainAI por circuitos neuromórficos, EnCharge por el analog in-memory compute y FuriosaAI por una arquitectura para operaciones tensoriales. Con su anuncio, Nvidia no se limitó a añadir otro producto: en la práctica confirmó que el nicho es demasiado grande para ignorarlo dentro del imperio de las GPU.

La apuesta no es solo por un chip aparte, sino también por dividir la inferencia en fases. AWS mostró hace poco un sistema con Trainium y Cerebras CS-3, donde el prefill y el decode se ejecutan en tipos de hardware distintos. Nvidia va en la misma dirección: el nuevo módulo Groq 3 LPX incluirá ocho LPU y el sistema Vera Rubin. El prefill y la parte más pesada del decode permanecerán en Rubin, y la fase final de salida correrá en Groq 3. Este híbrido permite aprovechar los puntos fuertes de cada procesador en lugar de aceptar un compromiso.

Qué significa

La noticia principal no es que Nvidia haya lanzado otro acelerador, sino que el mayor actor del mercado ha reconocido públicamente la inferencia como una clase de cómputo aparte. Para los productos de IA es una buena noticia: si estas arquitecturas escalan de verdad en producción, las respuestas de los modelos serán más rápidas y la economía del uso masivo, más predecible. La siguiente etapa de la competencia en IA no se librará solo por la calidad de los modelos, sino también por el coste de un millón de respuestas útiles.