Un ingénieur chiffre la diffusion de 10 millions de tokens/s : 130 To de cache et 700 nœuds avec un MoE
Pour qu'un chatbot réponde à 200 000 personnes à la fois, à 50 tokens par seconde, il doit produire 10 millions de tokens par seconde. Le goulot d'étranglement, c'est la mémoire : le cache des dialogues d'un modèle 70B avec 4 000 tokens de contexte occupera environ 130 To. D'après l'estimation de l'ingénieur @raiharsh88, un modèle MoE de la classe de DeepSeek-V3 y parviendrait avec 700 nœuds de décodage, tandis qu'un 70B dense réclame 3 000–4 000 H100. Calculez votre budget à partir de la mémoire, pas du nombre de paramètres.
Traité par IA depuis X: @raiharsh88 ; édité par Hamidun News
Imaginez un chatbot basé sur un modèle ouvert, auquel 200 000 personnes écrivent en même temps, et qui affiche à chacune sa réponse à environ 50 tokens par seconde (un token correspond grosso modo à un mot ou à un fragment de mot). Au total, cela représente 10 millions de tokens générés par seconde. L'ingénieur @raiharsh88 a publié une analyse de la façon dont il construirait un tel système, et sa conclusion principale est inattendue : le plus difficile n'est pas le modèle lui-même, mais la mémoire.
Chacune des 200 000 conversations doit conserver ce qui a déjà été dit, ce que l'on appelle le KV-cache, et l'ensemble de ces caches occupe environ 130 téraoctets. Il s'agit d'une estimation « sur un coin de table », et non d'un benchmark mesuré, mais l'arithmétique est utile à quiconque prévoit de déployer sa propre infrastructure d'inférence.
D'abord l'arithmétique : tout se joue sur la mémoire
Le calcul de départ est simple. 10 millions de tokens par seconde, divisés par 50 tokens par seconde et par utilisateur, donnent environ 200 000 flux simultanés.
Chaque flux possède un KV-cache, la « mémoire de travail » du modèle sur ce qui s'est déjà dit dans la conversation. Pour un modèle 70B avec attention groupée (GQA) et un cache en fp8, cela représente environ 160 Ko par token. Avec un contexte de 4 000 tokens, on arrive à environ 640 Mo par dialogue, et à quelque 130 To pour les 200 000. L'auteur en conclut que l'essentiel du problème de conception est une question de mémoire, pas de calcul.
Comment l'auteur assemblerait le système
Séparation des étapes. Le prefill (le modèle lit votre requête) est limité par le calcul, tandis que le decode (il écrit la réponse token par token) est limité par la bande passante mémoire. Si on les exécute sur les mêmes GPU, les deux étapes en pâtissent. L'auteur propose donc deux pools de GPU distincts, avec un transfert du cache déjà calculé entre eux par RDMA, un réseau rapide à accès direct à la mémoire. C'est l'approche de DistServe et de Mooncake.
Au sein de chaque GPU. Batching continu (les nouvelles requêtes sont insérées à la volée dans le lot), KV-cache paginé, poids en fp8 et, sur Blackwell, en fp4. La taille du lot doit être aussi grande que la latence cible le permet. S'y ajoutent le décodage spéculatif ou les têtes MTP (le modèle devine plusieurs tokens à l'avance, puis vérifie sa supposition), ce qui donne ensemble une accélération proche d'un facteur deux.
Choix de l'architecture. L'auteur parie sur le MoE : dans un tel modèle, seule une partie des paramètres travaille pour chaque token, si bien qu'un seul GPU produit davantage de tokens. Selon son estimation, un modèle de la taille de DeepSeek-V3, avec un large parallélisme sur les experts, nécessiterait environ 700 nœuds de décodage. Pour absorber le même flux, un modèle dense 70B demande 3 000–4 000 H100.
Routage. Selon l'auteur, il compte plus qu'on ne le croit. Les prompts système et les longues conversations se répètent beaucoup. Supposons que toutes les requêtes partagent le même long prompt système : si l'on envoie une nouvelle requête vers une réplique où il se trouve déjà en cache, l'essentiel du prefill est évité. Un cache inactif peut être déchargé dans la RAM du CPU ou sur NVMe, ce qui coûte moins cher que de le recalculer.
Exploitation et réserves
L'autoscaling, conseille l'auteur, doit se baser sur la profondeur de la file d'attente et le remplissage du KV-cache, et non sur la charge CPU. Le chargement d'un modèle prend plusieurs minutes, d'où la nécessité de répliques de réserve déjà préchauffées. Il vaut mieux opérer dans plusieurs régions, et combler les « creux » de charge avec des tâches par lots qui n'exigent pas de réponse rapide.
Ce qu'il faut garder en tête. Tous les chiffres sont des estimations d'un seul ingénieur : les 700 nœuds et les 3 000–4 000 H100 dépendent de la longueur des réponses, du taux de succès du cache, de la latence cible et du matériel, et l'auteur ne dévoile pas toutes ses hypothèses. Les systèmes réels doivent composer avec un trafic irrégulier, des pics et des pannes, qui ne figurent pas dans cette estimation. Un contexte de 4 000 tokens reste modeste : dans les scénarios agentiques, avec de longues conversations et des outils, le cache sera nettement plus volumineux.
Ce qu'il faut en retenir
Pour les équipes qui construisent leur propre inférence, la leçon pratique est la suivante. Le budget doit se calculer à partir de la mémoire nécessaire au KV-cache, et non du nombre de paramètres. Le choix d'un modèle MoE peut réduire le parc de GPU de plusieurs fois. La mise en cache des préfixes et un routage intelligent font économiser sans acheter de nouveau matériel. Quant à la séparation du prefill et du decode, ce n'est plus de l'exotisme, mais une architecture éprouvée, utilisée par des projets ouverts.
Pour les product managers et les fondateurs, la morale est plus simple : le prix du token à grande échelle repose sur une base d'ingénierie. Il n'est pas déterminé par les beaux benchmarks du modèle, mais par la qualité avec laquelle le système gère la mémoire, les lots et le cache.
- 20 nov. 2026SingProbe d'Ant Group : un garde-fou de 8,1 millions de paramètres ralentit les LLM de moins de 0,5%
- 20 nov. 2026Le GLM 5.3 local accélère une IA sur ESP32-S3 de 100%, Qwen 3.8 27B de 30%
- 19 nov. 2026MLPerf Training : des clusters de 10 240 GPU et un entraînement 49% plus rapide en six mois
- 19 nov. 2026CoreWeave jusqu'à 65% moins cher que les hyperscalers sur un cluster Blackwell sur trois ans
Questions clés sur cet article
Que sait-on sur D'abord l'arithmétique : tout se joue sur la mémoire ?
Le calcul de départ est simple. 10 millions de tokens par seconde, divisés par 50 tokens par seconde et par utilisateur, donnent environ 200 000 flux simultanés. Chaque flux possède un KV-cache, la « mémoire de travail » du modèle sur ce qui s'est déjà dit dans la conversation. Pour un modèle 70B avec attention groupée (GQA) et un cache en fp8, cela représente environ 160 Ko par token. Avec un contexte de 4 000 tokens, on arrive à environ 640 Mo par dialogue, et à quelque 130 To pour les 200 000.
Comment l'auteur assemblerait le système?
Séparation des étapes. Le prefill (le modèle lit votre requête) est limité par le calcul, tandis que le decode (il écrit la réponse token par token) est limité par la bande passante mémoire. Si on les exécute sur les mêmes GPU, les deux étapes en pâtissent. L'auteur propose donc deux pools de GPU distincts, avec un transfert du cache déjà calculé entre eux par RDMA, un réseau rapide à accès direct à la mémoire. C'est l'approche de DistServe et de Mooncake. Au sein de chaque GPU.
Que sait-on sur Exploitation et réserves ?
L'autoscaling, conseille l'auteur, doit se baser sur la profondeur de la file d'attente et le remplissage du KV-cache, et non sur la charge CPU. Le chargement d'un modèle prend plusieurs minutes, d'où la nécessité de répliques de réserve déjà préchauffées. Il vaut mieux opérer dans plusieurs régions, et combler les « creux » de charge avec des tâches par lots qui n'exigent pas de réponse rapide. Ce qu'il faut garder en tête.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.