Cerebras confie la lecture du prompt aux GPU AMD et obtient 5 fois plus de tokens par mégawatt
La réponse d'un réseau de neurones se construit en deux étapes : d'abord le modèle lit le prompt (c'est le prefill), puis il écrit la réponse token par token (le decode). Cerebras a confié la lecture aux cartes graphiques AMD Instinct et conservé l'écriture sur ses systèmes CS-3. Sur le point de terminaison GPT-OSS-120B, cette architecture produit 5 fois plus de tokens par mégawatt qu'une configuration reposant uniquement sur les CS-3, sans baisse de la vitesse de génération. Le fournisseur peut ainsi servir davantage de clients avec la même enveloppe énergétique.
Traité par IA depuis Hacker News AI ; édité par Hamidun News
La réponse d'un réseau de neurones se construit en deux étapes : d'abord le modèle lit votre prompt (c'est le prefill), puis il écrit la réponse token par token (le decode). Cerebras, fabricant de puces géantes pour l'IA, répartit ces étapes entre différents matériels : la lecture du prompt est désormais assurée par des cartes graphiques AMD Instinct, tandis que l'écriture de la réponse reste confiée aux systèmes Cerebras CS-3. En production, cette architecture produit 5 fois plus de tokens par mégawatt d'électricité que la configuration reposant uniquement sur les CS-3, sans baisse de la vitesse de génération.
Pour tous ceux qui paient pour des réponses rapides d'agents, la question est de savoir combien d'IA interactive un centre de données peut délivrer avec une puissance limitée.
Pourquoi découper la requête en deux
Imaginez que vous envoyez à Copilot ou Codex un gros bloc de code avec une question. Le modèle doit d'abord lire tout ce texte d'un seul coup et construire un état intermédiaire, notamment le KV-cache, c'est-à-dire la mémoire de ce qui a été lu. C'est un travail de calcul intensif, que les GPU classiques gèrent très bien.
Vient ensuite l'écriture de la réponse. Le modèle produit les tokens un par un, et chacun dépend du précédent. À chaque étape, il relit ses données en mémoire : ici, c'est la vitesse de la mémoire qui compte avant tout, plus que la puissance de calcul brute.
Les puces Cerebras, de la taille d'une plaquette de silicium entière, excellent justement en matière de mémoire. Selon la société, elles disposent de 350 fois plus de mémoire SRAM rapide directement sur la puce, et d'une bande passante mémoire 5 400 fois supérieure à celle d'un GB300 typique. Elles conviennent donc bien au decode. Lire de longs prompts sur une telle puce est moins pertinent : il est logique de confier cette partie à d'autres accélérateurs.
Ce que montre la production
Cerebras a mis en place l'architecture dans son propre cloud. Les prompts sont traités par des AMD Instinct, et les réponses sont écrites par des CS-3. Quand la lecture part sur les cartes graphiques, les puces Cerebras se consacrent entièrement à la génération.
La mesure a été réalisée le 14 novembre sur le point de terminaison partagé GPT-OSS-120B : la société a comparé le débit par mégawatt avant et après l'activation de la séparation. Le résultat est une hausse de 5 fois par rapport à la configuration reposant uniquement sur les CS-3. Selon la déclaration de l'entreprise, la vitesse de génération des tokens est restée la même.
Pour le fournisseur, cela signifie davantage de clients et davantage de revenus avec la même enveloppe énergétique. Pour l'utilisateur, ce sont les mêmes réponses rapides, avec un moindre risque de se heurter à un manque de capacité. Les ambitions sont importantes : d'ici la fin de 2027, Cerebras veut déployer l'architecture sur plusieurs centaines de mégawatts, dans son cloud et chez ses partenaires. L'entreprise mentionne également l'annonce du CS-4, l'extension de sa production et 700 MW de capacité prévus pour ses centres de données.
Comment la solution est proposée aux partenaires
Cerebras propose à ses partenaires une architecture de référence : les accélérateurs qu'ils choisissent pour le prefill et les systèmes Cerebras sont reliés au sein d'un même réseau. Il existe deux manières de s'y raccorder.
La première est une pile logicielle complète, qui accélère la mise sur le marché du service. Elle comprend :
- un framework qui répartit les requêtes entre les pools de prefill et de decode et surveille la capacité et l'état des réplicas ;
- un moteur de prefill basé sur vLLM ou SGLang, tous deux open source ;
- le moteur de decode de Cerebras ;
- KV Portal, qui transfère le KV-cache entre les deux parties via RDMA.
La seconde est un SDK dédié au decode, pour ceux qui privilégient le contrôle. Le partenaire apporte son propre framework et son propre moteur de prefill, et les connecte au moteur de decode de Cerebras et à KV Portal. Le kit inclut un simulateur de réplica de decode et un exemple d'intégration avec un framework open source. Un accès anticipé a déjà été accordé à Amazon Web Services, Fireworks AI, Gimlet Labs et General Compute.
Ce qu'il faut garder en tête
Toutes les chiffres proviennent du document de Cerebras lui-même, il ne s'agit pas d'un benchmark indépendant. Le gain de 5 fois a été mesuré sur un seul point de terminaison, avec pour référence une configuration reposant uniquement sur les CS-3. Le texte ne fournit aucune comparaison avec des solutions purement GPU en termes de coût par token. Il n'indique pas non plus le temps supplémentaire induit par le transfert du KV-cache entre les deux pools. L'expression « sans perte de vitesse » concerne la génération de la réponse.
Le conseil pratique pour les développeurs est le suivant : la séparation entre lecture du prompt et écriture de la réponse devient une pratique courante de l'inférence, et vLLM comme SGLang sont déjà intégrés à ce schéma. Lorsqu'on choisit un fournisseur pour des agents interactifs, il faut comparer non seulement le prix par token, mais aussi la vitesse de réponse sous charge. Pour ceux qui construisent leurs propres centres de données, le signal est clair : le matériel dédié à la lecture du prompt et celui dédié à la génération de la réponse peuvent désormais être choisis séparément.
- 21 nov. 2026Panne Microsoft : près de 83 000 signalements sur Outlook dans Downdetector, Teams et Copilot également hors service
- 21 nov. 2026MLPerf Training v6.1 : Nvidia Rubin et TPU Ironwood font leurs débuts, 153 systèmes au test
- 21 nov. 2026Microsoft fait de Copilot un « système d'exploitation pour le travail » : Word et Excel deviennent des plugins de l'agent
- 21 nov. 2026Google sépare le stockage des conversations et l'entraînement de Gemini : refuser sans perdre l'historique
Questions clés sur cet article
Pourquoi découper la requête en deux?
Imaginez que vous envoyez à Copilot ou Codex un gros bloc de code avec une question. Le modèle doit d'abord lire tout ce texte d'un seul coup et construire un état intermédiaire, notamment le KV-cache, c'est-à-dire la mémoire de ce qui a été lu. C'est un travail de calcul intensif, que les GPU classiques gèrent très bien. Vient ensuite l'écriture de la réponse. Le modèle produit les tokens un par un, et chacun dépend du précédent.
Que sait-on sur Ce que montre la production ?
Cerebras a mis en place l'architecture dans son propre cloud. Les prompts sont traités par des AMD Instinct, et les réponses sont écrites par des CS-3. Quand la lecture part sur les cartes graphiques, les puces Cerebras se consacrent entièrement à la génération. La mesure a été réalisée le 14 novembre sur le point de terminaison partagé GPT-OSS-120B : la société a comparé le débit par mégawatt avant et après l'activation de la séparation.
Comment la solution est proposée aux partenaires?
Cerebras propose à ses partenaires une architecture de référence : les accélérateurs qu'ils choisissent pour le prefill et les systèmes Cerebras sont reliés au sein d'un même réseau. Il existe deux manières de s'y raccorder. La première est une pile logicielle complète, qui accélère la mise sur le marché du service.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.