Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHacker News AI→ original

Cerebras découpe un modèle de 3 000 milliards de paramètres sur 59 puces : 1 000 à 2 000+ tokens par seconde

Un modèle de 3 000 milliards de paramètres pèse environ 1,5 To, même compressé en 4 bits, alors qu'une seule plaquette Cerebras WSE-3T ne dispose que de 44 Go de mémoire rapide. Cerebras a donc découpé le modèle ouvert Kimi K3 en 93 couches d'environ 16 Go chacune, réparties sur 59 plaquettes comme des machines sur une chaîne de montage : les poids restent immobiles, seuls les résultats intermédiaires circulent entre les puces. Pour ces modèles, l'entreprise annonce 1 000 à 2 000+ tokens par seconde. Pour choisir un fournisseur, comparez les tokens par seconde par mégawatt.

Traité par IA depuis Hacker News AI ; édité par Hamidun News
Cerebras découpe un modèle de 3 000 milliards de paramètres sur 59 puces : 1 000 à 2 000+ tokens par seconde
Source : Hacker News AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHacker News AI ↗
Rédacteur en chef
Chiffre clé #135 plaquettes pour 69 couches linéaires (2 par plaquette) et 24 pour les couches denses (1 par plaquette)
Chiffre clé #2Entre les plaquettes, seules les données intermédiaires circulent : environ 2 µs par transition
Chiffre clé #3Sur les plaquettes denses, 28 Go restent disponibles pour le cache des requêtes (44 moins 16)

Un modèle de 3 000 milliards de paramètres ne tient pas dans la mémoire d'une seule puce : même compressé en 4 bits, ses poids occupent environ 1,5 To, alors qu'une plaquette Cerebras WSE-3T embarque 44 Go de mémoire. Cerebras a montré, sur l'exemple du modèle ouvert Kimi K3, comment découper un tel modèle en 93 couches réparties sur 59 plaquettes (35 + 24) pour atteindre 1 000 à 2 000+ tokens par seconde. Pour les développeurs, cela répond à une question : le prix et la vitesse de service dépendent de l'architecture du modèle, et pas seulement de son nombre de paramètres.

Pourquoi une seule plaquette ne suffit pas

La plaquette WSE-3T est une puce de la taille d'une galette de silicium entière. Sa mémoire SRAM est très rapide, mais peu abondante : 44 Go. Les poids des modèles de pointe occupent des téraoctets. Dans l'exemple de Cerebras, on utilise la quantification en 4 bits, comme dans la version publiée sur Hugging Face : 3 000 milliards de paramètres à 4 bits représentent environ 1,5 To, rien que pour les poids.

Kimi K3 compte 93 couches : 69 à attention linéaire et 24 denses, c'est-à-dire à attention complète. En divisant 1,5 To par 93 couches, on obtient environ 16 Go par couche. Le chiffre tombe bien : une couche entière tient dans les 44 Go d'une plaquette, sans avoir à la fragmenter entre plusieurs puces.

Selon Cerebras elle-même, Kimi K3 obtient 88,3 % sur Terminal-Bench 2.1 (contre 88,8 % pour GPT-5.6 Sol) et 91,2 % sur BrowseComp (contre 90,4 % pour GPT-5.6 Sol). Ce sont les chiffres publiés par le fournisseur ; l'article ne contient aucune vérification indépendante.

Comment les couches se répartissent sur les puces

La place occupée sur une plaquette dépend du type de couche. Une couche dense stocke les clés et les valeurs de chaque token de chaque requête active. C'est le cache KV, en quelque sorte un carnet de notes de toute la conversation, qui grandit avec la longueur du contexte. On place donc une seule couche dense par plaquette, et le reste de la mémoire est réservé au cache.

Une couche linéaire ne demande qu'un petit état de taille fixe par requête, qui ne croît pas avec le contexte. Deux de ces couches tiennent sur une même plaquette (2 × 16 Go = 32 Go).

Cela donne 35 plaquettes pour les 69 couches linéaires et 24 pour les couches denses, soit 59 au total. Sur les plaquettes denses, 28 Go restent disponibles pour le cache : 44 Go moins 16 Go pour la couche.

Le pipeline fonctionne ensuite ainsi : le compilateur de Cerebras répartit les couches entre les zones des plaquettes, et le runtime trace le chemin des tokens. Les poids restent en place et seules les activations, c'est-à-dire les résultats intermédiaires du calcul, sont transmises d'une plaquette à l'autre. Ce transfert passe par RDMA sur Ethernet, pour environ 2 microsecondes par transition. Comparée à une usine, l'image est celle de machines fixes où ce sont les pièces qui circulent dans l'atelier.

Comment le pipeline sert plusieurs requêtes à la fois

L'objection évidente : pendant qu'un token traverse toutes les plaquettes, les autres restent inactives, et le système ne traite qu'un lot d'une seule requête. Cerebras répond que ce n'est pas le cas. Le pipeline est alimenté par des requêtes différentes : pendant que la troisième étape traite un token de la requête A, la deuxième traite la requête B et la première la requête C. Chaque étape peut prendre non pas une seule requête, mais un petit groupe, un micro-lot. Le nombre de requêtes en vol est à peu près égal au nombre d'étapes multiplié par la taille du micro-lot.

Il existe un compromis. De petits micro-lots accélèrent chaque requête prise isolément, tandis que de plus grands micro-lots augmentent le débit global. En production, selon l'entreprise, les étapes sont beaucoup plus fines qu'une couche entière, et elles sont plus nombreuses.

Le plafond du nombre de requêtes parallèles est fixé par la mémoire réservée au cache KV : chaque requête en vol occupe son propre cache sur chaque plaquette dense. Pour estimer ce maximum, on divise les 28 Go libres par la taille du cache d'une requête ; l'exemple retient une requête moyenne de 256 000 tokens. Contrairement à un lot sur GPU, les requêtes ne s'attendent pas les unes les autres : elles circulent en continu dans le pipeline.

Ce que cela change en pratique

Premièrement, l'architecture du modèle influence le coût du service. L'attention linéaire demande presque pas de mémoire pour le cache, si bien que ces couches se compactent deux fois plus densément. Si vous choisissez un modèle ouvert pour un long contexte, la part des couches denses compte autant que le nombre de paramètres.

Deuxièmement, Cerebras propose de comparer les systèmes d'inférence non pas à partir de la taille du lot, mais à partir du nombre total de tokens par seconde et par mégawatt, à vitesse de génération égale pour une réponse. Cette métrique peut être demandée à tout fournisseur, y compris aux clouds à base de GPU.

Troisièmement, l'approche passe à l'échelle : on calcule la mémoire nécessaire aux poids et à l'état des requêtes, on répartit le modèle sur les plaquettes, puis on les relie en pipeline. Chaque plaquette supplémentaire ajoute du calcul et de la mémoire.

Des limites demeurent. Il s'agit d'un calcul illustratif publié par le fournisseur, et non d'un benchmark indépendant. Les 1 000 à 2 000+ tokens par seconde annoncés concernent les modèles de plusieurs billions de paramètres en général, et non une mesure spécifique de Kimi K3. L'article ne donne aucun tarif, seulement des liens vers une API gratuite et vers le service commercial. Pour vérifier ces affirmations, utilisez l'API gratuite et testez vos propres requêtes longues.

Dossier

Questions clés sur cet article

Pourquoi une seule plaquette ne suffit pas?

La plaquette WSE-3T est une puce de la taille d'une galette de silicium entière. Sa mémoire SRAM est très rapide, mais peu abondante : 44 Go. Les poids des modèles de pointe occupent des téraoctets. Dans l'exemple de Cerebras, on utilise la quantification en 4 bits, comme dans la version publiée sur Hugging Face : 3 000 milliards de paramètres à 4 bits représentent environ 1,5 To, rien que pour les poids. Kimi K3 compte 93 couches : 69 à attention linéaire et 24 denses, c'est-à-dire à attention complète.

Comment les couches se répartissent sur les puces?

La place occupée sur une plaquette dépend du type de couche. Une couche dense stocke les clés et les valeurs de chaque token de chaque requête active. C'est le cache KV, en quelque sorte un carnet de notes de toute la conversation, qui grandit avec la longueur du contexte. On place donc une seule couche dense par plaquette, et le reste de la mémoire est réservé au cache. Une couche linéaire ne demande qu'un petit état de taille fixe par requête, qui ne croît pas avec le contexte.

Comment le pipeline sert plusieurs requêtes à la fois?

L'objection évidente : pendant qu'un token traverse toutes les plaquettes, les autres restent inactives, et le système ne traite qu'un lot d'une seule requête. Cerebras répond que ce n'est pas le cas. Le pipeline est alimenté par des requêtes différentes : pendant que la troisième étape traite un token de la requête A, la deuxième traite la requête B et la première la requête C. Chaque étape peut prendre non pas une seule requête, mais un petit groupe, un micro-lot.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…