Groq é a primeira a implantar o NVIDIA Groq 3 LPX: 3400 tokens/s no Gemma 4 31B

A Groq será uma das primeiras operadoras do NVIDIA Groq 3 LPX, um acelerador que reforça a geração de tokens nos racks Vera Rubin NVL72. A empresa vai implantar as duas plataformas em sua nuvem de inferência própria, a GroqCloud, e a Dell Technologies cuidará do fornecimento e da integração. O principal número dos testes divulgados pela NVIDIA é de 3400 tokens de saída por segundo no Gemma 4 31B, um modelo agêntico aberto, com contexto de 100 mil tokens. A medição foi feita no benchmark da Artificial Analysis.

O que a NVIDIA afirmou

O LPX se soma ao Vera Rubin NVL72 como uma camada separada para decodificação. Ele aumenta a velocidade de geração de tokens quando o contexto é longo e o agente executa muitas etapas em sequência. Os principais números declarados:

• 3400 tokens de saída por segundo no Gemma 4 31B com contexto de 100K tokens;
• interatividade 4 vezes maior para cargas agênticas sensíveis à latência do que a da plataforma alternativa mais próxima;
• tarefas agênticas, como programação, são concluídas em minutos em vez de horas.

O nome do produto indica que a arquitetura LPU, na qual a Groq trabalhou durante anos, agora chega sob a marca NVIDIA. Dion Harris, da NVIDIA, resume a lógica assim: a IA agêntica precisa de mais tokens, resposta rápida e baixo custo em escala. O Vera Rubin responde pela vazão, e o Groq 3 LPX, pela baixa latência.

Por que a Groq saiu na frente

O argumento da empresa é que nenhuma outra equipe tem experiência em operar LPUs em produção nessa escala. Segundo a Groq, a GroqCloud reúne mais de seis milhões de desenvolvedores, empresas da lista Fortune 500 e milhares de empresas AI-native. A plataforma gera trilhões de tokens por semana em data centers na América do Norte, na Europa, no Oriente Médio e na região da Ásia-Pacífico.

Em agosto, a Groq obteve o status de NVIDIA Cloud Partner. Isso significa que ela projeta, implanta e opera clusters de computação seguindo a arquitetura de referência e os padrões operacionais da NVIDIA. O novo lançamento dá continuidade a essa linha. A Dell, nas palavras do vice-presidente Arunkumar Narayanan, cuida da infraestrutura integrada e das cadeias globais de suprimentos. O CTO da Groq, Sinclair Schuller, descreve a plataforma como uma nova classe de aceleradores de inferência interativos.

O que o anúncio não traz

O comunicado não informa preços por token, prazos para a entrada em operação da capacidade, número de racks implantados nem as regiões em que o LPX aparecerá primeiro. Também não revela qual é a "plataforma alternativa mais próxima" usada na comparação que resulta no ganho de quatro vezes. Os 3400 tokens por segundo foram obtidos em um modelo de 31 bilhões de parâmetros. Em modelos fechados de ponta, o resultado pode ser diferente. Além disso, são dados do fornecedor, e não uma verificação independente em cargas de trabalho reais.

Conclusão prática para as equipes

Se você desenvolve agentes, calcule a latência do ciclo inteiro, e não de uma única resposta. Um agente de programação faz dezenas de chamadas seguidas, e a velocidade de decodificação em contexto longo se soma ao tempo final da tarefa. Enquanto não houver preços e prazos públicos, o mais sensato é:

• medir, nos seus próprios cenários, a fatia do tempo ocupada especificamente pela geração de tokens, e não pelas chamadas de ferramentas e pela espera;
• rodar tarefas com 50–100K tokens de contexto, faixa em que, segundo a NVIDIA, o ganho é máximo;
• pedir à Groq acesso a testes antecipados e as condições de custo por token;
• não amarrar a arquitetura a um único provedor: modelos abertos como o Gemma 4 permitem comparar nuvens com a mesma carga.