Nvidia apresenta o Groq 3 e aposta em chips dedicados à inferência de IA

A Nvidia mostrou o Groq 3, o primeiro chip da empresa feito especificamente para inferência de IA, e não para treinamento de modelos. É um sinal importante: o mercado deixa de correr atrás de modelos cada vez maiores e passa a disputar a rapidez e o baixo custo com que esses modelos respondem aos usuários.

Por que a Nvidia muda de rumo

Na conferência GTC, o presidente da Nvidia anunciou não só a linha Vera Rubin, mas também uma classe separada de processadores para executar modelos. O Groq 3 LPU é baseado em tecnologia licenciada da startup Groq, com a qual a Nvidia fechou um acordo no fim do ano passado. O fato de terem passado apenas cerca de dois meses e meio entre o licenciamento e o anúncio do produto mostra a rapidez com que cresce a demanda por inferência nos data centers.

"Finalmente a IA consegue fazer um trabalho útil, e o ponto de

inflexão da inferência já chegou."

Treinamento e inferência resolvem problemas diferentes, por isso exigem hardware diferente. No treinamento, o sistema passa semanas processando enormes volumes de dados e atualizando os pesos do modelo. A inferência acontece no momento da requisição do usuário, e em modelos de raciocínio uma única sessão pode incluir muitas passagens internas até a pessoa ver a resposta. Aqui o que importa não é o pico de FLOPS, mas a latência, um fluxo de dados estável e um tempo previsível de geração de tokens.

Como o Groq 3 é construído

A abordagem da Groq difere do esquema tradicional de GPU. Em vez de depender de uma memória HBM de alta velocidade separada, ao lado do processador gráfico, o chip usa SRAM embutida diretamente no bloco de computação. Isso simplifica a movimentação de dados: eles passam pelo processador de forma linear, sem idas e vindas desnecessárias. Com isso, a arquitetura abre mão da versatilidade, mas se sai melhor onde é preciso a resposta mais rápida possível. Para a inferência, em que o modelo gera tokens em sequência, e não calcula tudo em um grande lote, esse projeto é especialmente útil.

A diferença também aparece nas especificações. A GPU Rubin continua sendo uma máquina para cálculos pesados e modelos grandes, enquanto o Groq 3 foi feito com outro objetivo: latência mínima na etapa de decode, quando a resposta já começa a ser montada token a token. Em computação geral e capacidade de memória, a LPU é bem mais modesta, mas leva vantagem em largura de banda e é mais adequada para a saída final. Por isso a Nvidia não substitui a GPU por uma nova classe de chip, e sim a complementa com um acelerador especializado.

• A GPU Rubin tem 288 GB de HBM; o Groq 3, cerca de 500 MB de SRAM embutida
• A Rubin entrega até 50 petaflops em cálculos de 4 bits; o Groq 3, 1,2 petaflops em 8 bits
• Em largura de banda de memória, o Groq 3 chega a 150 TB/s, contra 22 TB/s da Rubin
• O foco do Groq 3 não é a versatilidade, mas a geração rápida de tokens com baixa latência

O mercado migra para a inferência

Nos últimos dois anos, houve uma verdadeira explosão de startups de chips de inferência. A D-Matrix aposta em digital in-memory compute, a Etched em ASICs para transformers, a RainAI em circuitos neuromórficos, a EnCharge em analog in-memory compute e a FuriosaAI em uma arquitetura para operações tensoriais. Com o anúncio, a Nvidia não apenas adicionou mais um produto: na prática, confirmou que o nicho é grande demais para ser ignorado dentro do império das GPUs.

A aposta não é só em um chip separado, mas também em dividir a inferência em etapas. A AWS mostrou recentemente um sistema com Trainium e Cerebras CS-3, em que prefill e decode rodam em tipos diferentes de hardware. A Nvidia segue pelo mesmo caminho: o novo módulo Groq 3 LPX terá oito LPUs e o sistema Vera Rubin. O prefill e a parte mais pesada do decode continuarão na Rubin, e a etapa final de saída ficará no Groq 3. Esse híbrido permite aproveitar os pontos fortes de cada processador, em vez de aceitar um meio-termo.

O que isso significa

A principal notícia não é que a Nvidia lançou mais um acelerador, mas que o maior player do mercado reconheceu publicamente a inferência como uma classe separada de computação. Para os produtos de IA, é uma boa notícia: se essas arquiteturas realmente escalarem em produção, as respostas dos modelos ficarão mais rápidas e a economia do uso em massa, mais previsível. A próxima etapa da concorrência em IA será disputada não só pela qualidade dos modelos, mas também pelo custo de um milhão de respostas úteis.