Nvidia dévoile Groq 3 et parie sur des puces dédiées à l'inférence IA

Nvidia a présenté Groq 3, la première puce de l'entreprise conçue spécifiquement pour l'inférence IA, et non pour l'entraînement des modèles. C'est un signal important : le marché passe de la course aux modèles toujours plus gros à la course à la rapidité et au faible coût avec lesquels ces modèles répondent aux utilisateurs.

Pourquoi Nvidia change de cap

Lors de la conférence GTC, le patron de Nvidia a annoncé non seulement la gamme Vera Rubin, mais aussi une catégorie distincte de processeurs pour l'exécution des modèles. Le Groq 3 LPU repose sur une technologie sous licence de la start-up Groq, avec laquelle Nvidia a conclu un accord à la fin de l'année dernière. Le fait qu'environ deux mois et demi seulement séparent la licence de l'annonce du produit montre la vitesse à laquelle la demande d'inférence augmente dans les centres de données.

« L'IA est enfin capable de faire un travail utile, et le point

d'inflexion de l'inférence est déjà atteint. »

L'entraînement et l'inférence répondent à des problèmes différents, et exigent donc du matériel différent. Pendant l'entraînement, le système brasse pendant des semaines d'énormes volumes de données et met à jour les poids du modèle. L'inférence, elle, se déroule au moment de la requête de l'utilisateur, et pour les modèles de raisonnement, une seule session peut comprendre de nombreuses passes internes avant que la personne ne voie la réponse. Ce ne sont pas les FLOPS maximaux qui comptent ici, mais la latence, un flux de données stable et un temps de génération des tokens prévisible.

Comment est conçu Groq 3

L'approche de Groq diffère du schéma habituel des GPU. Au lieu de s'appuyer sur une mémoire HBM à haut débit distincte, placée à côté du processeur graphique, la puce utilise de la SRAM intégrée directement au bloc de calcul. Cela simplifie le déplacement des données : elles traversent le processeur de façon linéaire, sans allers-retours inutiles. L'architecture sacrifie ainsi la polyvalence, mais l'emporte là où il faut la réponse la plus rapide possible. Pour l'inférence, où le modèle génère les tokens de façon séquentielle plutôt que de tout calculer en un seul gros lot, cette conception est particulièrement utile.

La différence se voit aussi dans les caractéristiques. Le GPU Rubin reste une machine pour les calculs lourds et les grands modèles, tandis que Groq 3 a été conçu pour un autre objectif : une latence minimale à l'étape de decode, lorsque la réponse commence déjà à se construire token par token. En calcul général et en capacité mémoire, le LPU est nettement plus modeste, mais il l'emporte en bande passante et convient mieux à la sortie finale. Nvidia ne remplace donc pas le GPU par une nouvelle classe de puce : elle le complète avec un accélérateur spécialisé.

• Le GPU Rubin embarque 288 Go de HBM ; Groq 3, environ 500 Mo de SRAM intégrée
• Rubin délivre jusqu'à 50 pétaflops en calcul 4 bits ; Groq 3, 1,2 pétaflops en 8 bits
• Groq 3 atteint 150 To/s de bande passante mémoire contre 22 To/s pour Rubin
• Groq 3 vise non la polyvalence, mais la génération rapide de tokens à faible latence

Le marché bascule vers l'inférence

Ces deux dernières années, les puces d'inférence ont vu éclore une véritable déferlante de start-up. D-Matrix mise sur le digital in-memory compute, Etched sur des ASIC pour transformers, RainAI sur des circuits neuromorphiques, EnCharge sur l'analog in-memory compute et FuriosaAI sur une architecture dédiée aux opérations tensorielles. Avec son annonce, Nvidia n'a pas simplement ajouté un produit : elle a de fait confirmé que la niche était trop vaste pour être ignorée au sein de l'empire des GPU.

Le pari ne porte pas seulement sur une puce séparée, mais aussi sur le découpage de l'inférence en étapes. AWS a récemment présenté un système associant Trainium et Cerebras CS-3, où le prefill et le decode tournent sur des types de matériel différents. Nvidia suit la même voie : le nouveau module Groq 3 LPX réunira huit LPU et le système Vera Rubin. Le prefill et la partie la plus lourde du decode resteront sur Rubin, et l'étape finale de sortie sur Groq 3. Cet hybride permet d'exploiter les points forts de chaque processeur plutôt que de se contenter d'un compromis.

Ce que cela signifie

La vraie nouvelle n'est pas que Nvidia ait sorti un accélérateur de plus, mais que le premier acteur du marché ait reconnu publiquement l'inférence comme une catégorie de calcul à part entière. Pour les produits d'IA, c'est une bonne nouvelle : si ces architectures passent réellement à l'échelle en production, les réponses des modèles seront plus rapides et l'économie de l'usage de masse, plus prévisible. La prochaine étape de la concurrence en IA se jouera non seulement sur la qualité des modèles, mais aussi sur le coût d'un million de réponses utiles.