Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarPyTorch Blog→ original

Helion, do PyTorch, calcula as configurações de kernels de GPU na compilação em vez de 25 horas de autotuning

Para que um kernel de GPU rode rápido, é preciso escolher o tamanho dos blocos, o número de threads e a profundidade do pipeline. No Helion, linguagem do PyTorch para esses kernels, quem faz isso é o autotuner, que testa várias variantes. Um kernel de paged-attention ajustado para 72 formatos de dados levou 10 horas no modo rápido e 25 horas no modo completo. Agora o compilador identifica o tipo do kernel e define as configurações de imediato, sem testar alternativas. Por isso, em protótipos e formatos novos, a busca longa pode ser adiada.

Processado por IA de PyTorch Blog; editado por Hamidun News
Helion, do PyTorch, calcula as configurações de kernels de GPU na compilação em vez de 25 horas de autotuning
Fonte: PyTorch Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalPyTorch Blog ↗
Editor-chefe
Os kernels se dividem em três famíliasmultiplicação de matrizes, redução e elemento a elemento
Dado-chave #2A análise adiciona à compilação apenas dezenas de milissegundos
Teste153 combinações de kernel e formato em H100, com seis kernels do vLLM

Escrever um kernel de GPU não basta: para que ele rode rápido, é preciso ajustar dezenas de parâmetros, como o tamanho dos blocos, o número de threads (warps) e a profundidade do pipeline de carregamento. No Helion, linguagem do PyTorch para kernels portáteis de machine learning, essa tarefa cabe ao autotuner: ele compila e mede muitas variantes e depois escolhe a melhor. O método é confiável, mas lento.

A equipe que ajustou um único kernel de paged-attention para 72 formatos de dados gastou 10 horas no modo rápido do Helion e 25 horas no modo completo. Quando há muitos kernels, formatos e placas de vídeo, o tempo cresce como uma bola de neve. Por isso, o Helion passou a usar heurísticas no tempo de compilação: elas escolhem as configurações de imediato, sem testar alternativas.

Como o compilador adivinha as configurações

Um único kernel do Helion pode se transformar em milhares de kernels Triton diferentes, e o autotuner precisa escolher um deles. A heurística funciona de outra forma. Ela lê a representação intermediária (IR) do kernel e registra fatos estruturais: quais eixos são divididos em blocos, quais tamanhos podem ser alterados e quais tiles estão ativos em cada trecho do código. Com base nesses fatos, ela entrega uma configuração pronta.

Primeiro, o kernel é classificado em uma de três famílias. Qualquer kernel com multiplicação de matrizes, como os que usam hl.dot ou torch.baddbmm, segue pelo ramo de matrizes, mesmo que tenha outras operações. Um kernel de redução (que condensa uma linha em um número menor de valores) sem multiplicação de matrizes segue pelo ramo de reduções. Todo o resto é tratado como elemento a elemento. Se nem todos os tamanhos forem conhecidos na compilação, a heurística não é aplicada e o Helion usa as configurações padrão anteriores.

Todos os ramos se apoiam numa mesma análise: quantos registradores, memória compartilhada e, na arquitetura Blackwell, memória tensorial um bloco de threads (CTA) precisa com os tamanhos escolhidos. Disso decorre quantos blocos cabem em cada multiprocessador. Como exemplo, o artigo cita um bloco que usa um décimo dos registradores e da memória compartilhada, mas seis décimos da memória tensorial. Dois desses blocos não cabem, pois 0,6 × 2 = 1,2, ou seja, o orçamento é ultrapassado em 20%. Portanto, resta um bloco por multiprocessador.

Essas estimativas, por sua vez, determinam as configurações. Mais estágios de pipeline escondem melhor a latência de carregamento, mas seis estágios podem ocupar toda a memória compartilhada e deixar apenas um bloco por multiprocessador. Três estágios com dois blocos costumam ser mais vantajosos. Se houver menos blocos do que multiprocessadores, o tamanho do bloco é reduzido. Se um kernel de redução lê a linha duas vezes, como o RMSNorm (primeiro calcula a escala e depois a aplica), vale manter a linha na memória e não buscá-la novamente.

O que as medições mostraram

Os autores enfatizam que o objetivo não é superar o autotuner, que testa milhares de variantes. Eles querem criar um ponto intermediário entre desempenho e tempo de espera.

Os testes foram feitos em H100. Nove variantes de atenção linear, em 96 combinações de kernel e formato, foram comparadas com kernels Triton escritos à mão da biblioteca FLA. A configuração calculada superou esses kernels e foi mais rápida que as configurações anteriores do Helion sem autotuning. Nos seis kernels de produção do vLLM (dois quantizadores FP8, RMSNorm e SiLU-and-multiply com quantização, normalização QK com RoPE), o teste incluiu 153 combinações de kernel e formato. Aqui, a configuração calculada ficou à frente dos operadores CUDA/C++ escritos à mão para o vLLM. O autotuning completo nesses kernels acrescenta pouco em relação à configuração obtida sem custo.

Além disso, os kernels do dia a dia foram comparados com torch.compile no modo max-autotune: dez reduções em 80 combinações e treze famílias de kernels de matrizes em 70 formatos. O custo da própria análise é desprezível: a diferença no tempo de compilação com e sem as heurísticas é de dezenas de milissegundos, que se perdem diante da compilação do Triton.

Sugestões para o autotuner e limitações

As mesmas heurísticas podem gerar de 5 a 20 configurações aparentadas, usadas como pontos de partida para o autotuner. A configuração principal precisa ser boa por si só, e as alternativas servem para que a busca comece pelas variantes mais promissoras.

Há também limitações. A heurística faz suposições sobre as decisões do Triton: o que vai para os registradores, o que passa pela memória compartilhada e o que nem chega a ser materializado. A estimativa é aproximada. Quando um mesmo kernel tem várias multiplicações de matrizes, suas configurações podem entrar em conflito, por exemplo, quando todas usam o mesmo num_warps. Nesse caso, prevalece a multiplicação com acumulador dentro do laço e, depois, a de maior volume de trabalho. As medições foram feitas em H100 e se referem a conjuntos específicos de kernels.

A conclusão prática para quem escreve kernels no Helion é a seguinte: em protótipos, formatos novos e kernels raros, o autotuning longo pode ser adiado, porque as configurações padrão agora estão mais próximas das ajustadas. Se você distribui um conjunto fixo de formatos, ainda vale executar o autotuning completo uma vez antes do lançamento.

História

Perguntas frequentes sobre a notícia

Como o compilador adivinha as configurações?

Um único kernel do Helion pode se transformar em milhares de kernels Triton diferentes, e o autotuner precisa escolher um deles. A heurística funciona de outra forma. Ela lê a representação intermediária (IR) do kernel e registra fatos estruturais: quais eixos são divididos em blocos, quais tamanhos podem ser alterados e quais tiles estão ativos em cada trecho do código. Com base nesses fatos, ela entrega uma configuração pronta. Primeiro, o kernel é classificado em uma de três famílias.

O que as medições mostraram?

Os autores enfatizam que o objetivo não é superar o autotuner, que testa milhares de variantes. Eles querem criar um ponto intermediário entre desempenho e tempo de espera. Os testes foram feitos em H100. Nove variantes de atenção linear, em 96 combinações de kernel e formato, foram comparadas com kernels Triton escritos à mão da biblioteca FLA. A configuração calculada superou esses kernels e foi mais rápida que as configurações anteriores do Helion sem autotuning.

O que se sabe sobre Sugestões para o autotuner e limitações?

As mesmas heurísticas podem gerar de 5 a 20 configurações aparentadas, usadas como pontos de partida para o autotuner. A configuração principal precisa ser boa por si só, e as alternativas servem para que a busca comece pelas variantes mais promissoras. Há também limitações. A heurística faz suposições sobre as decisões do Triton: o que vai para os registradores, o que passa pela memória compartilhada e o que nem chega a ser materializado. A estimativa é aproximada.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…