Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHacker News AI→ original

Cerebras dividió un modelo de 3 billones de parámetros en 59 chips: 1000–2000+ tokens por segundo

Un modelo de 3 billones de parámetros pesa unos 1,5 TB incluso con compresión de 4 bits, y una sola oblea Cerebras WSE-3T solo dispone de 44 GB de memoria rápida. Por eso Cerebras fragmentó la abierta Kimi K3 en 93 capas de unos 16 GB cada una y las distribuyó en 59 obleas, como máquinas en una cadena de montaje: los pesos permanecen fijos y entre chips solo viajan los resultados intermedios. Cerebras afirma que estos modelos alcanzan 1000–2000+ tokens por segundo. Al elegir proveedor, compare los tokens por segundo por megavatio.

Procesado por IA desde Hacker News AI; editado por Hamidun News
Cerebras dividió un modelo de 3 billones de parámetros en 59 chips: 1000–2000+ tokens por segundo
Fuente: Hacker News AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHacker News AI ↗
Editor jefe
Dato clave #135 obleas para 69 capas lineales (2 por oblea) y 24 para las densas (1 por oblea)
Dato clave #2Entre obleas solo se transmiten datos intermedios: unos 2 µs por salto
Dato clave #3En las obleas de capas densas quedan 28 GB para la caché de peticiones (44 menos 16)

Un modelo de 3 billones de parámetros no cabe en la memoria de un solo chip: incluso con compresión de 4 bits, sus pesos ocupan unos 1,5 TB, mientras que una oblea Cerebras WSE-3T integra 44 GB de memoria. Cerebras mostró, con la abierta Kimi K3 como ejemplo, cómo se fragmenta un modelo así en 93 capas y se reparte en 59 obleas (35 + 24) para obtener 1000–2000+ tokens por segundo. Para el desarrollador, esto responde a por qué el precio y la velocidad de servicio dependen de la arquitectura del modelo y no solo del número de parámetros.

Por qué una oblea no basta

La oblea WSE-3T es un chip del tamaño de un wafer de silicio completo. Su memoria SRAM es muy rápida, pero pequeña: 44 GB. Los pesos de los modelos de frontera ocupan terabytes. En el ejemplo, Cerebras usa cuantización de 4 bits, como en la versión de Hugging Face: 3 billones de parámetros a 4 bits suman unos 1,5 TB solo en pesos.

Kimi K3 tiene 93 capas: 69 con atención lineal y 24 densas, es decir, con atención completa. Si se divide 1,5 TB entre 93 capas, cada una ocupa unos 16 GB. Es una cifra conveniente: una capa completa cabe en una oblea de 44 GB y no hay que partirla entre chips.

Según la propia Cerebras, Kimi K3 obtiene un 88,3 % en Terminal-Bench 2.1 (GPT-5.6 Sol, 88,8 %) y un 91,2 % en BrowseComp (GPT-5.6 Sol, 90,4 %). Son cifras de una publicación del fabricante; el material no incluye verificación independiente.

Cómo se reparten las capas entre chips

El espacio en la oblea depende del tipo de capa. Una capa densa almacena las claves y los valores de cada token de cada petición activa. Esto se llama caché KV, básicamente un cuaderno de notas de toda la conversación, y crece con la longitud del contexto. Por eso en cada oblea se coloca una sola capa densa y el resto de la memoria se destina a la caché.

Una capa lineal requiere un estado pequeño de tamaño fijo por petición, que no crece con el contexto. En una oblea caben dos de estas capas (2 × 16 GB = 32 GB).

Resultan 35 obleas para 69 capas lineales y 24 para las densas, en total 59. En las obleas densas quedan 28 GB para la caché: 44 GB menos 16 GB de la capa.

Después entra en juego la cadena de producción. El compilador de Cerebras distribuye las capas por regiones de las obleas, y el runtime traza la ruta de los tokens. Los pesos permanecen en su sitio y entre obleas solo se transfieren las activaciones, es decir, los resultados intermedios del cálculo. Viajan mediante RDMA sobre Ethernet, con unos 2 microsegundos por salto. Si lo comparamos con una fábrica, las máquinas están quietas y lo que circula por la planta son las piezas.

Cómo la cadena atiende muchas peticiones

La objeción evidente: mientras un token recorre todas las obleas, las demás están inactivas y el sistema trabaja con un lote de una sola petición. Cerebras responde que no es así. La cadena se llena con peticiones distintas: mientras la tercera etapa procesa un token de la petición A, la segunda trabaja con la B y la primera con la C. Cada etapa puede tomar no una petición, sino un pequeño grupo: un microlote. El número de peticiones en vuelo es aproximadamente el número de etapas multiplicado por el tamaño del microlote.

Aquí hay una compensación. Los microlotes pequeños aceleran cada petición por separado, mientras que los grandes aumentan el rendimiento total. En producción, según la compañía, las etapas son mucho más pequeñas que una capa completa y hay más de ellas.

El techo de peticiones en paralelo lo fija la memoria de la caché KV: cada petición en vuelo ocupa su caché en cada oblea con capa densa. Para estimar el máximo, los 28 GB libres se dividen entre el tamaño de la caché de una petición; en el ejemplo se toma una petición media de 256 mil tokens. A diferencia del lote en GPU, aquí las peticiones no esperan unas a otras, sino que fluyen de forma continua por la cadena.

Qué implica esto para la práctica

Primero, la arquitectura del modelo influye en el coste de servicio. La atención lineal casi no necesita memoria para la caché, así que estas capas se empaquetan el doble de densamente. Si elige un modelo abierto para contextos largos, la proporción de capas densas importa tanto como el número de parámetros.

Segundo, Cerebras propone comparar los sistemas de inferencia no por el tamaño del lote, sino por el total de tokens por segundo por megavatio con la misma velocidad de generación de una respuesta. Conviene exigir esta métrica a cualquier proveedor, incluidas las nubes con GPU.

Tercero, el enfoque escala: se calcula la memoria para los pesos y el estado de las peticiones, se reparte el modelo entre obleas y se conectan en cadena. Cada oblea nueva añade cómputo y memoria.

Hay también límites. Es un cálculo ilustrativo del propio fabricante, no un benchmark independiente. Los 1000–2000+ tokens por segundo se refieren a modelos de varios billones de parámetros en general, no a una medición concreta de Kimi K3. El material no incluye precios, solo enlaces a una API gratuita y al departamento de ventas. Para verificar las afirmaciones, use la API gratuita y ejecute sus propias peticiones largas.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué una oblea no basta?

La oblea WSE-3T es un chip del tamaño de un wafer de silicio completo. Su memoria SRAM es muy rápida, pero pequeña: 44 GB. Los pesos de los modelos de frontera ocupan terabytes. En el ejemplo, Cerebras usa cuantización de 4 bits, como en la versión de Hugging Face: 3 billones de parámetros a 4 bits suman unos 1,5 TB solo en pesos. Kimi K3 tiene 93 capas: 69 con atención lineal y 24 densas, es decir, con atención completa. Si se divide 1,5 TB entre 93 capas, cada una ocupa unos 16 GB.

Cómo se reparten las capas entre chips?

El espacio en la oblea depende del tipo de capa. Una capa densa almacena las claves y los valores de cada token de cada petición activa. Esto se llama caché KV, básicamente un cuaderno de notas de toda la conversación, y crece con la longitud del contexto. Por eso en cada oblea se coloca una sola capa densa y el resto de la memoria se destina a la caché. Una capa lineal requiere un estado pequeño de tamaño fijo por petición, que no crece con el contexto. En una oblea caben dos de estas capas (2 × 16 GB = 32 GB).

Cómo la cadena atiende muchas peticiones?

La objeción evidente: mientras un token recorre todas las obleas, las demás están inactivas y el sistema trabaja con un lote de una sola petición. Cerebras responde que no es así. La cadena se llena con peticiones distintas: mientras la tercera etapa procesa un token de la petición A, la segunda trabaja con la B y la primera con la C. Cada etapa puede tomar no una petición, sino un pequeño grupo: un microlote.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…