Cerebras cede la lectura del prompt a las GPU de AMD y logra 5 veces más tokens por megavatio
La respuesta de una red neuronal se genera en dos etapas: primero el modelo lee el prompt (prefill) y después escribe la respuesta token a token (decode). Cerebras ha encomendado la lectura a las GPU AMD Instinct y mantiene la escritura en sus chips CS-3. En el endpoint de GPT-OSS-120B, esto dio 5 veces más tokens por megavatio que la configuración solo con CS-3, y la velocidad de generación no cayó. El proveedor podrá atender a más clientes con el mismo presupuesto energético.
Procesado por IA desde Hacker News AI; editado por Hamidun News
La respuesta de una red neuronal se genera en dos etapas: primero el modelo lee tu prompt (lo que se conoce como prefill) y después escribe la respuesta token a token (decode). Cerebras, fabricante de chips gigantes para IA, ha repartido estas etapas entre hardware distinto: la lectura del prompt la hacen ahora las GPU AMD Instinct, mientras que la escritura de la respuesta sigue en manos de los sistemas Cerebras CS-3. En producción, este esquema ofreció 5 veces más tokens por cada megavatio de electricidad que la configuración solo con CS-3, y la velocidad de generación no se resintió.
Para quienes pagan por respuestas rápidas de agentes, la cuestión de fondo es cuánta IA interactiva puede entregar un centro de datos con una potencia limitada.
Por qué conviene partir la petición en dos
Imagina que envías a Copilot o Codex un fragmento largo de código con una pregunta. Primero, el modelo tiene que leer todo ese texto de una vez y construir un estado intermedio, incluida la KV-cache, es decir, la memoria de lo leído. Es un trabajo de cálculo pesado, que las GPU convencionales resuelven muy bien.
Después empieza la escritura de la respuesta. El modelo emite los tokens de uno en uno, y cada nuevo token depende del anterior. En cada paso vuelve a leer sus datos de la memoria, así que aquí lo que importa es la velocidad de la memoria, no la potencia de cálculo bruta.
Los chips de Cerebras, del tamaño de una oblea de silicio entera, destacan precisamente en memoria. Según la compañía, tienen 350 veces más memoria SRAM rápida directamente en el die y un ancho de banda de memoria 5 400 veces mayor que un GB300 típico. Por eso encajan bien en decode. Leer prompts largos en este chip es menos razonable, y tiene sentido pasar esa parte a otros aceleradores.
Qué mostró la producción
Cerebras puso en marcha el esquema en su propia nube. Los prompts los procesan las AMD Instinct y las respuestas las escriben los CS-3. Con la lectura derivada a las GPU, los chips de Cerebras se dedican por completo a la generación.
La medición se hizo en un endpoint compartido de GPT-OSS-120B el 14 de noviembre: se comparó el rendimiento por megavatio antes y después de activar la separación. El resultado fue un aumento de 5 veces respecto al esquema solo con CS-3. La velocidad de generación de tokens, según la compañía, se mantuvo igual.
Para el proveedor, esto significa más clientes y más ingresos con el mismo presupuesto energético. Para el usuario, las mismas respuestas rápidas con menos riesgo de toparse con falta de capacidad. Los planes son ambiciosos: antes de que termine 2027, desplegar el esquema en cientos de megavatios en su nube y en la de sus socios. En paralelo, la compañía menciona el anuncio del CS-4, la ampliación de la producción y los 700 MW de capacidad de centros de datos que tiene previstos.
Cómo se ofrece la solución a los socios
Cerebras propone a sus socios una arquitectura de referencia: los aceleradores que elijan para prefill y los sistemas de Cerebras se conectan en una misma red. Hay dos vías para sumarse.
La primera es la pila de software completa, que acelera la salida del servicio al mercado. Incluye:
- un framework que reparte las peticiones entre los pools de prefill y decode y vigila la capacidad y el estado de las réplicas;
- un motor de prefill basado en los proyectos abiertos vLLM o SGLang;
- el motor de decode de Cerebras;
- KV Portal, que transfiere la KV-cache entre las dos partes por RDMA.
La segunda vía es un SDK solo de decode, para quienes priorizan el control. El socio aporta su propio framework y su propio motor de prefill y los conecta con el motor de decode de Cerebras y con KV Portal. El paquete incluye un simulador de réplica de decode y un ejemplo de integración con un framework abierto. Amazon Web Services, Fireworks AI, Gimlet Labs y General Compute ya han recibido acceso anticipado.
Qué conviene tener en cuenta
Todas las cifras proceden de material de la propia Cerebras y no son un benchmark independiente. La mejora de 5 veces se midió en un solo endpoint, y la base de comparación es el esquema solo con CS-3. En el texto no hay comparación con soluciones puramente GPU en cuanto al precio por token. Tampoco hay datos sobre cuánto tiempo añade la transferencia de la KV-cache entre los dos pools. La frase «sin pérdida de velocidad» se refiere a la generación de la respuesta.
La conclusión práctica para los desarrolladores es la siguiente. Separar la lectura del prompt de la escritura de la respuesta se está convirtiendo en una práctica habitual de la inferencia, y vLLM y SGLang ya están integrados en este esquema. Al elegir proveedor para agentes interactivos, compara no solo el precio por token, sino también la velocidad de respuesta bajo carga. Para quienes construyen sus propios centros de datos, es una señal: el hardware para leer el prompt y el de generar la respuesta ya se pueden elegir por separado.
- 21 nov 2026Caída de Microsoft: casi 83 000 quejas sobre Outlook en Downdetector y Teams y Copilot fuera de servicio
- 21 nov 2026En la prueba MLPerf participan por primera vez Nvidia Rubin y TPU Ironwood: 153 sistemas
- 21 nov 2026Microsoft convierte Copilot en un «sistema operativo para el trabajo»: Word y Excel pasan a ser plugins del agente
- 21 nov 2026Google separará el almacenamiento de chats del entrenamiento de Gemini: rechazar sin perder el historial
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué conviene partir la petición en dos?
Imagina que envías a Copilot o Codex un fragmento largo de código con una pregunta. Primero, el modelo tiene que leer todo ese texto de una vez y construir un estado intermedio, incluida la KV-cache, es decir, la memoria de lo leído. Es un trabajo de cálculo pesado, que las GPU convencionales resuelven muy bien. Después empieza la escritura de la respuesta. El modelo emite los tokens de uno en uno, y cada nuevo token depende del anterior.
¿Qué se sabe sobre Qué mostró la producción?
Cerebras puso en marcha el esquema en su propia nube. Los prompts los procesan las AMD Instinct y las respuestas las escriben los CS-3. Con la lectura derivada a las GPU, los chips de Cerebras se dedican por completo a la generación. La medición se hizo en un endpoint compartido de GPT-OSS-120B el 14 de noviembre: se comparó el rendimiento por megavatio antes y después de activar la separación. El resultado fue un aumento de 5 veces respecto al esquema solo con CS-3.
Cómo se ofrece la solución a los socios?
Cerebras propone a sus socios una arquitectura de referencia: los aceleradores que elijan para prefill y los sistemas de Cerebras se conectan en una misma red. Hay dos vías para sumarse. La primera es la pila de software completa, que acelera la salida del servicio al mercado.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.