Groq déploie en premier NVIDIA Groq 3 LPX : 3400 tokens/s sur Gemma 4 31B

Groq sera l'un des premiers opérateurs de NVIDIA Groq 3 LPX, un accélérateur qui renforce la génération de tokens sur les racks Vera Rubin NVL72. L'entreprise déploiera les deux plateformes dans son propre cloud d'inférence GroqCloud, tandis que Dell Technologies assurera la livraison et l'intégration. Le chiffre clé des tests publiés par NVIDIA : 3400 tokens de sortie par seconde sur le modèle agentique ouvert Gemma 4 31B, avec un contexte de 100 mille tokens. La mesure a été réalisée avec le benchmark Artificial Analysis.

Ce que revendique NVIDIA

LPX s'ajoute à Vera Rubin NVL72 comme une couche dédiée au décodage. Il accélère la production de tokens lorsque le contexte est long et que l'agent enchaîne de nombreuses étapes. Principaux indicateurs annoncés :

• 3400 tokens de sortie par seconde sur Gemma 4 31B avec un contexte de 100K tokens ;
• une interactivité 4 fois supérieure, pour les charges agentiques sensibles à la latence, à celle de la plateforme concurrente la plus proche ;
• des tâches agentiques comme le codage exécutées en quelques minutes au lieu de plusieurs heures.

Le nom du produit montre que l'architecture LPU, sur laquelle Groq travaille depuis des années, sort désormais sous la marque NVIDIA. Dion Harris, de NVIDIA, résume la logique ainsi : l'IA agentique a besoin de plus de tokens, de réactions rapides et de faibles coûts à grande échelle. Vera Rubin gère le débit, Groq 3 LPX la faible latence.

Pourquoi Groq passe en premier

L'argument de l'entreprise : aucune autre équipe n'a l'expérience d'une exploitation de LPU en production à cette échelle. Selon Groq, plus de six millions de développeurs, des entreprises du classement Fortune 500 et des milliers d'entreprises AI-native utilisent GroqCloud. La plateforme génère des milliers de milliards de tokens par semaine dans des centres de données situés en Amérique du Nord, en Europe, au Moyen-Orient et en Asie-Pacifique.

En août, Groq a obtenu le statut de NVIDIA Cloud Partner. Elle conçoit, déploie et exploite donc des clusters de calcul selon l'architecture de référence et les standards d'exploitation de NVIDIA. Ce nouveau lancement s'inscrit dans cette continuité. Selon le vice-président de Dell, Arunkumar Narayanan, Dell prend en charge l'infrastructure intégrée et les chaînes d'approvisionnement mondiales. Le directeur technique de Groq, Sinclair Schuller, qualifie la plateforme de nouvelle classe d'accélérateurs d'inférence interactifs.

Ce que l'annonce ne dit pas

Le communiqué ne donne ni prix par token, ni calendrier de mise en service des capacités, ni nombre de racks déployés, ni régions où LPX apparaîtra en premier. La « plateforme alternative la plus proche », avec laquelle est comparé le gain de 4 fois, n'est pas non plus révélée. Les 3400 tokens par seconde ont été obtenus sur un modèle de 31 milliards de paramètres. Pour les modèles propriétaires haut de gamme, le résultat peut être différent. Il s'agit en outre de données du fournisseur, et non d'une vérification indépendante sur des charges de travail réelles.

Ce qu'il faut en retenir pour les équipes

Si vous développez des agents, mesurez la latence sur l'ensemble du cycle, pas sur une seule réponse. Un agent de codage enchaîne des dizaines d'appels, et la vitesse de décodage sur contexte long pèse directement sur le temps total de la tâche. En l'absence de prix et de calendrier publics, il est raisonnable de :

• mesurer, sur vos propres scénarios, la part du temps consacrée à la génération de tokens, par opposition aux appels d'outils et aux temps d'attente ;
• tester des tâches avec 50–100K tokens de contexte, où le gain est maximal selon NVIDIA ;
• demander à Groq un accès aux tests anticipés ainsi que les conditions tarifaires du token ;
• ne pas lier votre architecture à un seul fournisseur : des modèles ouverts comme Gemma 4 permettent de comparer les clouds sur une même charge.