Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarX: @raiharsh88→ original

Un ingeniero calcula cómo servir 10 millones de tokens/s: 130 TB de caché y 700 nodos con MoE

Para que un chatbot escriba respuestas a 200 mil personas a la vez, a 50 tokens por segundo, hay que generar 10 millones de tokens por segundo. El cuello de botella es la memoria: la caché de diálogos de un modelo de 70B con 4 mil tokens de contexto ocupará unos 130 TB. Según el cálculo del ingeniero @raiharsh88, un modelo MoE de la clase DeepSeek-V3 podría con ello en 700 nodos de decode, mientras que un modelo denso de 70B necesita entre 3 y 4 mil H100. Calcule el presupuesto a partir de la memoria, no del número de parámetros.

Procesado por IA desde X: @raiharsh88; editado por Hamidun News
Un ingeniero calcula cómo servir 10 millones de tokens/s: 130 TB de caché y 700 nodos con MoE
Fuente: X: @raiharsh88. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @raiharsh88 ↗
Editor jefe
Dato clave #1Prefill y decode se ejecutan en pools de GPU distintos y la caché se transfiere por RDMA
Dato clave #2La decodificación especulativa y las cabezas MTP dan cerca de 2× en cada GPU
Dato clave #3Enrutar a la réplica que ya tiene el prefijo en caché permite saltarse gran parte del prefill

Imagine un chatbot basado en un modelo abierto al que escriben 200 mil personas a la vez y que a cada una le imprime la respuesta a unos 50 tokens por segundo (un token equivale, más o menos, a una palabra o a un fragmento de ella). En total, son 10 millones de tokens de salida por segundo. El ingeniero @raiharsh88 ha publicado un análisis de cómo construiría un sistema así, y su conclusión principal es inesperada: lo más difícil no es el modelo en sí, sino la memoria.

Cada una de las 200 mil conversaciones necesita almacenar lo que ya se ha dicho, la llamada caché KV, y entre todas ocupan unos 130 terabytes. Es una estimación «en una servilleta», no un benchmark medido, pero la aritmética es útil para cualquiera que planee su propia inferencia.

Primero la aritmética: todo se reduce a la memoria

El cálculo inicial es sencillo. Dividir 10 millones de tokens por segundo entre 50 tokens por segundo por usuario da unos 200 mil flujos simultáneos.

Cada flujo tiene su caché KV, la «memoria de trabajo» del modelo sobre lo ocurrido en la conversación. Para un modelo de 70B con atención agrupada (GQA) y caché en fp8, eso son aproximadamente 160 KB por token. Con un contexto de 4 mil tokens, salen unos 640 MB por conversación y, para las 200 mil, del orden de 130 TB. El autor concluye que la mayor parte del problema de diseño es de memoria, no de cómputo.

Cómo montaría el sistema el autor

Separación de etapas. El prefill (el modelo lee su consulta) depende del cómputo, mientras que el decode (escribe la respuesta token a token) depende del ancho de banda de memoria. Si se ejecutan en las mismas GPU, se resienten las dos etapas. Por eso el autor propone dos pools de GPU separados y transferir la caché ya calculada entre ellos por RDMA, una red rápida con acceso directo a memoria. Así lo hacen DistServe y Mooncake.

Dentro de cada GPU. Batching continuo (las nuevas solicitudes se incorporan al lote sobre la marcha), caché KV paginada, pesos en fp8 y, en Blackwell, en fp4. El tamaño del lote debe ser tan grande como permita la latencia objetivo. Encima se añade decodificación especulativa o cabezas MTP (el modelo adivina varios tokens por adelantado y después verifica la conjetura); entre ambas se obtiene una aceleración cercana al doble.

Elección de arquitectura. El autor apuesta por MoE: en ese tipo de modelo solo trabaja una parte de los parámetros por cada token, de modo que cada GPU produce más tokens. Según su estimación, un modelo del tamaño de DeepSeek-V3 con amplio paralelismo de expertos necesitaría unos 700 nodos de decode. Un modelo denso de 70B necesita, para el mismo flujo, entre 3 y 4 mil H100.

Enrutamiento. Según el autor, es más importante de lo que parece. Los prompts de sistema y los chats largos se repiten mucho. Supongamos que todas las solicitudes comparten el mismo prompt de sistema largo: si se envía una nueva solicitud a la réplica que ya lo tiene en caché, se salta gran parte del prefill. La caché inactiva se puede volcar a la RAM de la CPU o a NVMe, lo que resulta más barato que recalcularla.

Operación y salvedades

Según el consejo del autor, el autoescalado debe basarse en la profundidad de la cola y en la ocupación de la caché KV, no en la carga de CPU. Cargar el modelo lleva minutos, así que hacen falta réplicas de reserva ya calentadas. Conviene operar en varias regiones y rellenar los «huecos» libres de carga con tareas por lotes que no requieren respuesta rápida.

Qué conviene tener presente. Todas las cifras son estimaciones de un solo ingeniero: los 700 nodos y los 3–4 mil H100 dependen de la longitud de las respuestas, de la tasa de aciertos de caché, de la latencia objetivo y del hardware, y el autor no revela todos sus supuestos. Los sistemas reales se enfrentan a tráfico irregular, picos y fallos que este cálculo no incluye. Un contexto de 4 mil tokens es modesto: en escenarios con agentes, con diálogos largos y herramientas, la caché será bastante mayor.

Qué conclusiones sacar

Para los equipos que construyen su propia inferencia, la conclusión práctica es esta. El presupuesto hay que calcularlo a partir de la memoria para la caché KV, no del número de parámetros. Elegir un modelo MoE puede reducir la flota de GPU varias veces. El cacheo de prefijos y el enrutamiento inteligente ahorran sin comprar hardware nuevo. Y separar prefill y decode ya no es una rareza, sino un esquema que funciona y que usan proyectos abiertos.

Para responsables de producto y fundadores, la moraleja es más simple: el precio del token a gran escala tiene una base de ingeniería. No lo determinan los benchmarks vistosos del modelo, sino lo bien que el sistema gestione la memoria, los lotes y la caché.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Primero la aritmética: todo se reduce a la memoria?

El cálculo inicial es sencillo. Dividir 10 millones de tokens por segundo entre 50 tokens por segundo por usuario da unos 200 mil flujos simultáneos. Cada flujo tiene su caché KV, la «memoria de trabajo» del modelo sobre lo ocurrido en la conversación. Para un modelo de 70B con atención agrupada (GQA) y caché en fp8, eso son aproximadamente 160 KB por token. Con un contexto de 4 mil tokens, salen unos 640 MB por conversación y, para las 200 mil, del orden de 130 TB.

Cómo montaría el sistema el autor?

Separación de etapas. El prefill (el modelo lee su consulta) depende del cómputo, mientras que el decode (escribe la respuesta token a token) depende del ancho de banda de memoria. Si se ejecutan en las mismas GPU, se resienten las dos etapas. Por eso el autor propone dos pools de GPU separados y transferir la caché ya calculada entre ellos por RDMA, una red rápida con acceso directo a memoria. Así lo hacen DistServe y Mooncake. Dentro de cada GPU.

¿Qué se sabe sobre Operación y salvedades?

Según el consejo del autor, el autoescalado debe basarse en la profundidad de la cola y en la ocupación de la caché KV, no en la carga de CPU. Cargar el modelo lleva minutos, así que hacen falta réplicas de reserva ya calentadas. Conviene operar en varias regiones y rellenar los «huecos» libres de carga con tareas por lotes que no requieren respuesta rápida. Qué conviene tener presente.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…