Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarPyTorch Blog→ original

Helion de PyTorch calcula la configuración de los kernels de GPU durante la compilación en lugar de 25 horas de autotuning

Para que un kernel de GPU funcione rápido, hay que elegir el tamaño de los bloques, el número de hilos y la profundidad del pipeline. En Helion, el lenguaje de PyTorch para estos kernels, esa tarea la realiza el autotuner, que prueba variantes una a una. Para un solo kernel de paged-attention con 72 formas de datos, el proceso tardó 10 horas en modo rápido y 25 en modo completo. Ahora el compilador identifica el tipo de kernel y asigna la configuración de inmediato, sin búsqueda. Por eso, en prototipos y con formas nuevas, la búsqueda larga puede dejarse para más adelante.

Procesado por IA desde PyTorch Blog; editado por Hamidun News
Helion de PyTorch calcula la configuración de los kernels de GPU durante la compilación en lugar de 25 horas de autotuning
Fuente: PyTorch Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalPyTorch Blog ↗
Editor jefe
Los kernels se dividen en tres familiasmultiplicación de matrices, reducción y elemento a elemento
Dato clave #2El análisis añade a la compilación solo decenas de milisegundos
Verificación153 combinaciones de kernel y forma en H100, seis kernels de vLLM

Escribir un kernel de GPU no basta: para que funcione rápido hay que ajustar decenas de parámetros, como el tamaño de los bloques, el número de hilos (warps) y la profundidad del pipeline de carga. En Helion, el lenguaje de PyTorch para kernels portables de aprendizaje automático, esa tarea corre a cargo del autotuner: compila y mide muchas variantes y después elige la mejor. Funciona de forma fiable, pero es lento.

El equipo que ajustó un solo kernel de paged-attention para 72 formas de datos invirtió 10 horas en el modo rápido de Helion y 25 horas en el modo completo. Cuando hay muchos kernels, formas y tarjetas gráficas, el tiempo crece muy deprisa. Por eso, Helion incorpora heurísticas en tiempo de compilación que eligen la configuración directamente, sin búsqueda.

Cómo adivina el compilador la configuración

Un solo kernel de Helion puede convertirse en miles de kernels distintos de Triton, y el autotuner debe elegir uno. La heurística funciona de otra manera. Lee la representación intermedia (IR) del kernel y registra hechos estructurales: qué ejes se dividen en bloques, qué tamaños pueden cambiar y qué tiles están activos en cada tramo. Con esos hechos, genera una configuración lista para usar.

Primero, el kernel se asigna a una de tres familias. Todo kernel con multiplicación de matrices, por ejemplo con hl.dot o torch.baddbmm, sigue la rama de matrices, incluso si contiene otras operaciones. Un kernel de reducción (que colapsa una fila en un número menor de valores) sin multiplicación de matrices sigue la rama de reducciones. Lo demás se considera elemento a elemento. Si no se conocen todos los tamaños en el momento de compilar, la heurística no se activa y Helion usa los parámetros predeterminados de siempre.

Todas las ramas se apoyan en un mismo análisis: cuántos registros, memoria compartida y, en Blackwell, memoria tensorial necesita un bloque de hilos (CTA) con los tamaños elegidos. De ahí se deduce cuántos bloques caben en cada multiprocesador. Ejemplo del artículo: un bloque necesita una décima parte de los registros y de la memoria compartida, pero seis décimas de la memoria tensorial. Dos de esos bloques no caben, porque 0,6 × 2 = 1,2, es decir, el presupuesto se excede en un 20 %. Así que queda un único bloque por multiprocesador.

Después, esas estimaciones determinan los parámetros. Más etapas de pipeline ocultan mejor la latencia de carga, pero seis etapas pueden ocupar toda la memoria compartida y dejar un solo bloque por multiprocesador. Con tres etapas y dos bloques, el resultado suele ser más ventajoso. Si hay menos bloques que multiprocesadores, se reduce el tamaño del bloque. Si un kernel de reducción lee una fila dos veces, como RMSNorm (primero calcula la escala y luego la aplica), conviene mantener la fila en memoria y no volver a leerla.

Qué mostraron las mediciones

Los autores subrayan que el objetivo no es superar al autotuner, que prueba miles de variantes. Lo que buscan es añadir un punto intermedio entre velocidad de ejecución y tiempo de espera.

Las pruebas se hicieron en H100. Nueve variantes de atención lineal, en 96 combinaciones de kernel y forma, se compararon con kernels de Triton escritos a mano de la biblioteca FLA. La configuración calculada los superó y resultó más rápida que la configuración anterior de Helion sin autotuning. En seis kernels de producción para vLLM (dos cuantizadores FP8, RMSNorm y SiLU-and-multiply con cuantización, normalización QK con RoPE), la prueba incluyó 153 combinaciones de kernel y forma. Aquí la configuración calculada también superó a los operadores CUDA/C++ escritos a mano en vLLM. El autotuning completo sobre estos kernels aporta muy poco adicional a la configuración calculada.

Aparte, se compararon los kernels habituales con torch.compile en modo max-autotune: diez reducciones en 80 combinaciones y trece familias de kernels de matrices en 70 formas. El coste del propio análisis es insignificante: la diferencia en el tiempo de compilación con y sin heurísticas es de decenas de milisegundos, que quedan diluidos frente a la compilación de Triton.

Sugerencias para el autotuner y limitaciones

Estas mismas heurísticas pueden proporcionar de 5 a 20 configuraciones afines como puntos de partida para el autotuner. La configuración principal debe ser buena por sí misma, y las alternativas sirven para que la búsqueda empiece por las variantes más prometedoras.

También hay limitaciones. La heurística predice las decisiones de Triton: qué acabará en registros, qué pasará por memoria compartida y qué no llegará a materializarse. La estimación es aproximada. Cuando un mismo kernel contiene varias multiplicaciones de matrices, sus parámetros pueden entrar en conflicto, por ejemplo si todas comparten el mismo num_warps. En ese caso prevalece la multiplicación con acumulador en el bucle y, después, la de mayor volumen de trabajo. Las mediciones se hicieron en H100 y se refieren a conjuntos concretos de kernels.

Conclusión práctica para quienes escriben kernels con Helion: en prototipos, formas nuevas y kernels poco frecuentes, el autotuning largo puede aplazarse, porque la configuración por defecto se acerca ahora a la ajustada. Si se despliega un conjunto fijo de formas, sigue valiendo la pena ejecutar el autotuning completo una vez antes de publicar la versión.

Historia

Preguntas frecuentes sobre la noticia

Cómo adivina el compilador la configuración?

Un solo kernel de Helion puede convertirse en miles de kernels distintos de Triton, y el autotuner debe elegir uno. La heurística funciona de otra manera. Lee la representación intermedia (IR) del kernel y registra hechos estructurales: qué ejes se dividen en bloques, qué tamaños pueden cambiar y qué tiles están activos en cada tramo. Con esos hechos, genera una configuración lista para usar. Primero, el kernel se asigna a una de tres familias.

¿Qué se sabe sobre Qué mostraron las mediciones?

Los autores subrayan que el objetivo no es superar al autotuner, que prueba miles de variantes. Lo que buscan es añadir un punto intermedio entre velocidad de ejecución y tiempo de espera. Las pruebas se hicieron en H100. Nueve variantes de atención lineal, en 96 combinaciones de kernel y forma, se compararon con kernels de Triton escritos a mano de la biblioteca FLA. La configuración calculada los superó y resultó más rápida que la configuración anterior de Helion sin autotuning.

¿Qué se sabe sobre Sugerencias para el autotuner y limitaciones?

Estas mismas heurísticas pueden proporcionar de 5 a 20 configuraciones afines como puntos de partida para el autotuner. La configuración principal debe ser buena por sí misma, y las alternativas sirven para que la búsqueda empiece por las variantes más prometedoras. También hay limitaciones. La heurística predice las decisiones de Triton: qué acabará en registros, qué pasará por memoria compartida y qué no llegará a materializarse. La estimación es aproximada.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…