Helion de PyTorch calcula la configuración de los kernels de GPU durante la compilación en lugar de 25 horas de autotuning
Para que un kernel de GPU funcione rápido, hay que elegir el tamaño de los bloques, el número de hilos y la profundidad del pipeline. En Helion, el lenguaje de PyTorch para estos kernels, esa tarea la realiza el autotuner, que prueba variantes una a una. Para un solo kernel de paged-attention con 72 formas de datos, el proceso tardó 10 horas en modo rápido y 25 en modo completo. Ahora el compilador identifica el tipo de kernel y asigna la configuración de inmediato, sin búsqueda. Por eso, en prototipos y con formas nuevas, la búsqueda larga puede dejarse para más adelante.
Procesado por IA desde PyTorch Blog; editado por Hamidun News
Escribir un kernel de GPU no basta: para que funcione rápido hay que ajustar decenas de parámetros, como el tamaño de los bloques, el número de hilos (warps) y la profundidad del pipeline de carga. En Helion, el lenguaje de PyTorch para kernels portables de aprendizaje automático, esa tarea corre a cargo del autotuner: compila y mide muchas variantes y después elige la mejor. Funciona de forma fiable, pero es lento.
El equipo que ajustó un solo kernel de paged-attention para 72 formas de datos invirtió 10 horas en el modo rápido de Helion y 25 horas en el modo completo. Cuando hay muchos kernels, formas y tarjetas gráficas, el tiempo crece muy deprisa. Por eso, Helion incorpora heurísticas en tiempo de compilación que eligen la configuración directamente, sin búsqueda.
Cómo adivina el compilador la configuración
Un solo kernel de Helion puede convertirse en miles de kernels distintos de Triton, y el autotuner debe elegir uno. La heurística funciona de otra manera. Lee la representación intermedia (IR) del kernel y registra hechos estructurales: qué ejes se dividen en bloques, qué tamaños pueden cambiar y qué tiles están activos en cada tramo. Con esos hechos, genera una configuración lista para usar.
Primero, el kernel se asigna a una de tres familias. Todo kernel con multiplicación de matrices, por ejemplo con hl.dot o torch.baddbmm, sigue la rama de matrices, incluso si contiene otras operaciones. Un kernel de reducción (que colapsa una fila en un número menor de valores) sin multiplicación de matrices sigue la rama de reducciones. Lo demás se considera elemento a elemento. Si no se conocen todos los tamaños en el momento de compilar, la heurística no se activa y Helion usa los parámetros predeterminados de siempre.
Todas las ramas se apoyan en un mismo análisis: cuántos registros, memoria compartida y, en Blackwell, memoria tensorial necesita un bloque de hilos (CTA) con los tamaños elegidos. De ahí se deduce cuántos bloques caben en cada multiprocesador. Ejemplo del artículo: un bloque necesita una décima parte de los registros y de la memoria compartida, pero seis décimas de la memoria tensorial. Dos de esos bloques no caben, porque 0,6 × 2 = 1,2, es decir, el presupuesto se excede en un 20 %. Así que queda un único bloque por multiprocesador.
Después, esas estimaciones determinan los parámetros. Más etapas de pipeline ocultan mejor la latencia de carga, pero seis etapas pueden ocupar toda la memoria compartida y dejar un solo bloque por multiprocesador. Con tres etapas y dos bloques, el resultado suele ser más ventajoso. Si hay menos bloques que multiprocesadores, se reduce el tamaño del bloque. Si un kernel de reducción lee una fila dos veces, como RMSNorm (primero calcula la escala y luego la aplica), conviene mantener la fila en memoria y no volver a leerla.
Qué mostraron las mediciones
Los autores subrayan que el objetivo no es superar al autotuner, que prueba miles de variantes. Lo que buscan es añadir un punto intermedio entre velocidad de ejecución y tiempo de espera.
Las pruebas se hicieron en H100. Nueve variantes de atención lineal, en 96 combinaciones de kernel y forma, se compararon con kernels de Triton escritos a mano de la biblioteca FLA. La configuración calculada los superó y resultó más rápida que la configuración anterior de Helion sin autotuning. En seis kernels de producción para vLLM (dos cuantizadores FP8, RMSNorm y SiLU-and-multiply con cuantización, normalización QK con RoPE), la prueba incluyó 153 combinaciones de kernel y forma. Aquí la configuración calculada también superó a los operadores CUDA/C++ escritos a mano en vLLM. El autotuning completo sobre estos kernels aporta muy poco adicional a la configuración calculada.
Aparte, se compararon los kernels habituales con torch.compile en modo max-autotune: diez reducciones en 80 combinaciones y trece familias de kernels de matrices en 70 formas. El coste del propio análisis es insignificante: la diferencia en el tiempo de compilación con y sin heurísticas es de decenas de milisegundos, que quedan diluidos frente a la compilación de Triton.
Sugerencias para el autotuner y limitaciones
Estas mismas heurísticas pueden proporcionar de 5 a 20 configuraciones afines como puntos de partida para el autotuner. La configuración principal debe ser buena por sí misma, y las alternativas sirven para que la búsqueda empiece por las variantes más prometedoras.
También hay limitaciones. La heurística predice las decisiones de Triton: qué acabará en registros, qué pasará por memoria compartida y qué no llegará a materializarse. La estimación es aproximada. Cuando un mismo kernel contiene varias multiplicaciones de matrices, sus parámetros pueden entrar en conflicto, por ejemplo si todas comparten el mismo num_warps. En ese caso prevalece la multiplicación con acumulador en el bucle y, después, la de mayor volumen de trabajo. Las mediciones se hicieron en H100 y se refieren a conjuntos concretos de kernels.
Conclusión práctica para quienes escriben kernels con Helion: en prototipos, formas nuevas y kernels poco frecuentes, el autotuning largo puede aplazarse, porque la configuración por defecto se acerca ahora a la ajustada. Si se despliega un conjunto fijo de formas, sigue valiendo la pena ejecutar el autotuning completo una vez antes de publicar la versión.
- 21 nov 2026Nvidia duplicó sus beneficios, pero sus acciones cayeron un 2% por la búsqueda de un nuevo consejero delegado
- 21 nov 2026Nous Research reentrenó Qwen3.8 y la propaganda en sus respuestas bajó del 22% al 1%
- 21 nov 2026Samsung quiere comprar Modine, proveedor de refrigeración para centros de datos, por casi 6000 millones de dólares
- 21 nov 2026Reuters: los proyectos de IA en China por 3.200 millones de dólares dependen de los chips de Nvidia, y Huang deja la compañía
Preguntas frecuentes sobre la noticia
Cómo adivina el compilador la configuración?
Un solo kernel de Helion puede convertirse en miles de kernels distintos de Triton, y el autotuner debe elegir uno. La heurística funciona de otra manera. Lee la representación intermedia (IR) del kernel y registra hechos estructurales: qué ejes se dividen en bloques, qué tamaños pueden cambiar y qué tiles están activos en cada tramo. Con esos hechos, genera una configuración lista para usar. Primero, el kernel se asigna a una de tres familias.
¿Qué se sabe sobre Qué mostraron las mediciones?
Los autores subrayan que el objetivo no es superar al autotuner, que prueba miles de variantes. Lo que buscan es añadir un punto intermedio entre velocidad de ejecución y tiempo de espera. Las pruebas se hicieron en H100. Nueve variantes de atención lineal, en 96 combinaciones de kernel y forma, se compararon con kernels de Triton escritos a mano de la biblioteca FLA. La configuración calculada los superó y resultó más rápida que la configuración anterior de Helion sin autotuning.
¿Qué se sabe sobre Sugerencias para el autotuner y limitaciones?
Estas mismas heurísticas pueden proporcionar de 5 a 20 configuraciones afines como puntos de partida para el autotuner. La configuración principal debe ser buena por sí misma, y las alternativas sirven para que la búsqueda empiece por las variantes más prometedoras. También hay limitaciones. La heurística predice las decisiones de Triton: qué acabará en registros, qué pasará por memoria compartida y qué no llegará a materializarse. La estimación es aproximada.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.