En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarTogether AI Blog→ original

Together AI sustituye los megakernels por agentes de IA y acelera Llama 1B un 28% en B200

Together AI ha abandonado los megakernels, un único kernel de GPU gigante para todo el modelo, y los ha sustituido por Together Compiler, donde agentes de IA reescriben y fusionan kernels. En una B200, Llama 3.2 1B alcanza 2118 tokens/s, frente a 1649 del megakernel manual: un 28% más rápido. En producción, el megakernel solo servía para un modelo, un tamaño de batch y un cliente. Por eso, buscar velocidad con una búsqueda automática resulta más rentable que montarla a mano.

Procesado por IA desde Together AI Blog; editado por Hamidun News
Together AI sustituye los megakernels por agentes de IA y acelera Llama 1B un 28% en B200
Fuente: Together AI Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTogether AI Blog ↗
Editor jefe
Dato clave #1CUDA Graphs y PDL sobre los kernels estándar de Inductor ofrecen el 98% de la velocidad del megakernel
Dato clave #2En H100, los agentes y los multi-kernels superaron hasta 1,7 veces a los antiguos megakernels: más de 1100 tokens/s
Dato clave #3El flag freezing de Inductor aceleraba los batches grandes entre un 10% y un 26%, pero con batch 1 ralentizaba un 49%

Hace un año, Together AI presumía de megakernels: todo el forward pass del modelo se ejecutaba en un único kernel de GPU enorme y la velocidad era récord. Ahora, el mismo equipo escribe que ya no los necesita. En su lugar, la compañía ha lanzado Together Compiler, un sistema en el que agentes de IA reescriben y fusionan los kernels del modelo. En una NVIDIA B200 alcanza 2118 tokens por segundo con Llama 3.2 1B, mientras que el megakernel manual logra 1649. La diferencia es del 28%. Para quien paga por la inferencia, lo útil de esta historia no es el récord, sino el análisis de de dónde sale realmente la velocidad.

Por qué el megakernel no llegó a producción

El megakernel resolvía tres problemas de la inferencia convencional. El primero es la sobrecarga de lanzar cada kernel. En PyTorch, una sola llamada de down-projection en H100 cuesta 37 microsegundos de despacho frente a 15 microsegundos de trabajo real de la GPU. Incluso el C++ puro añade unos 2 microsegundos por lanzamiento, y en un solo pase hay cientos. El segundo problema es la falta de solapamiento: los pesos de la siguiente capa podrían cargarse mientras se calcula la actual. El tercero es la carga desigual de los multiprocesadores (SM): unos terminan antes que otros y se quedan ociosos.

En Llama 1B, el megakernel alcanzó 990 tokens/s frente a 669 del Torch Inductor estándar, un 48% más. Pero en producción la cosa fue peor. Un investigador dedicó varios meses de 2025 a integrar un KV-cache paginado, portar el código a Blackwell y cazar condiciones de carrera. Los autores resumen el resultado así: un modelo, un tamaño de batch (1), una precisión (BF16) y un cliente. La velocidad es excelente, pero no hay flexibilidad.

Entonces el equipo siguió el camino inverso: partió de Torch Compile con 669 tokens/s y fue activando una a una las optimizaciones del megakernel. Con CUDA Graphs, el lanzamiento cuesta aproximadamente 1 microsegundo y el resultado sube a 864 tokens/s, el 87% del megakernel. Al añadir PDL (un mecanismo de NVIDIA para solapar kernels contiguos) sobre los kernels estándar de Inductor, llegaron al 98% de la velocidad del megakernel sin escribir un solo kernel propio.

Dónde pierde velocidad el compilador estándar

El equipo estudió Inductor en Llama 1B y encontró tres puntos débiles.

Primero: las heurísticas no eligen la mejor configuración para cada carga. Inductor ya tiene 607 flags de ajuste, 198 de ellos añadidos en el último año. El flag freezing acelera los batches grandes entre un 10% y un 26%, pero con batch 1 ralentiza un 49%: los pesos se quedan en formato de 32 bits y la GPU lee el doble de datos. Además, los flags se influyen entre sí: aggressive_fusion por sí solo redujo la velocidad en 6 tokens/s, pero combinado con otros tres añadió 3.

Segundo: los benchmarks de Inductor miden los kernels por separado, con la caché L2 vaciada, mientras que en un pase real los datos suelen estar ya en caché. Las mediciones aisladas resultaron entre un 39% y un 58% más lentas que las reales. Peor aún, en la prueba con embedding los tokens se inicializan con ceros y el kernel parece 2,1 veces más rápido que con datos aleatorios. Como resultado, para la output-projection Inductor eligió un kernel de Triton de 7,4 µs en lugar de cuBLAS con 6,4 µs, un 15% más lento. En el modelo MoE GLM 5.3, las entradas aleatorias del benchmark inflaban el tiempo de grouped-GEMM entre un 4% y un 21%.

Tercero: la fusión voraz por pares. Dos kernels contiguos no se fusionan porque no comparten memoria. Pero el primero lanza solo 6 bloques en una GPU con 132 SM, así que casi todo el chip queda ocioso. El algoritmo de fusión debe tener en cuenta la ocupación, no solo el tráfico de memoria.

Qué significa en la práctica

Para producción hay tres conclusiones. Primera: antes de escribir kernels a medida, active CUDA Graphs y PDL; según las mediciones de Together, así se recupera casi toda la velocidad del megakernel. Segunda: no se fíe a ciegas de los flags del compilador. Un mismo flag se comporta de forma distinta según el batch, por lo que hace falta una búsqueda sistemática y no adivinar. Tercera: el benchmark debe ejecutarse dentro de un pase real y con datos reales, sobre todo en MoE, donde la entrada determina el enrutamiento.

Con agentes y multi-kernels, el equipo superó hasta 1,7 veces a sus antiguos megakernels y obtuvo más de 1100 tokens/s en Llama 1B sobre H100. La idea de Together Compiler es que los agentes busquen de forma continua nuevas variantes de fusión y ajustes para cada modelo, hardware y tamaño de batch concretos, en lugar de depender de una única implementación manual.

Hay matices. Todas las cifras son mediciones propias de la compañía y corresponden a un modelo muy pequeño, de 1B, donde la sobrecarga de lanzamiento pesa especialmente. En modelos grandes la ganancia puede ser más modesta, por lo que conviene verificar el resultado con la propia carga de trabajo. Aun así, la dirección está clara: los megakernels manuales siguen siendo una herramienta de investigación, y en producción gana la búsqueda automatizada en el espacio de optimizaciones.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué el megakernel no llegó a producción?

El megakernel resolvía tres problemas de la inferencia convencional. El primero es la sobrecarga de lanzar cada kernel. En PyTorch, una sola llamada de down-projection en H100 cuesta 37 microsegundos de despacho frente a 15 microsegundos de trabajo real de la GPU. Incluso el C++ puro añade unos 2 microsegundos por lanzamiento, y en un solo pase hay cientos. El segundo problema es la falta de solapamiento: los pesos de la siguiente capa podrían cargarse mientras se calcula la actual.

Dónde pierde velocidad el compilador estándar?

El equipo estudió Inductor en Llama 1B y encontró tres puntos débiles. Primero: las heurísticas no eligen la mejor configuración para cada carga. Inductor ya tiene 607 flags de ajuste, 198 de ellos añadidos en el último año. El flag freezing acelera los batches grandes entre un 10% y un 26%, pero con batch 1 ralentiza un 49%: los pesos se quedan en formato de 32 bits y la GPU lee el doble de datos.

¿Qué se sabe sobre Qué significa en la práctica?

Para producción hay tres conclusiones. Primera: antes de escribir kernels a medida, active CUDA Graphs y PDL; según las mediciones de Together, así se recupera casi toda la velocidad del megakernel. Segunda: no se fíe a ciegas de los flags del compilador. Un mismo flag se comporta de forma distinta según el batch, por lo que hace falta una búsqueda sistemática y no adivinar.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…