Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarMachine Learning Mastery→ original

Fusão de operações e FlashAttention: como evitar que a GPU fique ociosa esperando a memória

Durante a inferência, a GPU muitas vezes não está calculando, e sim esperando: cada operação pequena é lançada separadamente e grava seu resultado intermediário na memória. A fusão de operações junta essas etapas em uma única passagem, como um cozinheiro que corta a salada em uma só tigela, e não em cinco. O FlashAttention calcula a atenção em blocos e não constrói na memória uma enorme matriz T×T. Os pesos e as fórmulas são os mesmos, por isso o primeiro passo é ativar os backends prontos e perfilar toda a carga de trabalho.

Processado por IA de Machine Learning Mastery; editado por Hamidun News
Fusão de operações e FlashAttention: como evitar que a GPU fique ociosa esperando a memória
Fonte: Machine Learning Mastery. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMachine Learning Mastery ↗
Editor-chefe
Dado-chave #1O paged attention reduz a fragmentação do cache KV com blocos de 16 tokens
Dado-chave #2O FlashAttention ajuda no prefill; no decode, o que pesa mais é a leitura do cache KV
O torch.compile nem sempre aceleraquebras de grafo impedem a fusão

Quando a inferência de um modelo de linguagem é mais lenta do que se gostaria, a primeira ideia costuma ser a de que é preciso uma GPU mais potente. Mas, com frequência, o acelerador não calcula e sim espera. Cada pequena operação de uma camada é disparada como um "kernel" separado (é assim que se chama um programa executado na GPU), e seu resultado intermediário é gravado na memória de vídeo principal, a HBM, e logo lido de volta.

É como preparar uma salada passando cada ingrediente cortado para uma tigela nova: a faca trabalha menos do que a louça circula. A fusão de operações (operator fusion) junta vários passos em uma única passagem, e o FlashAttention faz o mesmo com o mecanismo de atenção. Os pesos e as fórmulas do modelo permanecem os mesmos.

Essa camada de otimização foi explicada por Adrian Tam em um tutorial na Machine Learning Mastery. O material não traz medições próprias de velocidade, mas descreve com clareza as causas da lentidão e as formas de corrigi-la.

Por que o código "correto" fica lento

Uma camada do transformer é composta por etapas conhecidas: projeções lineares, atenção, normalização, funções de ativação e a soma com o sinal original (residual). A implementação direta lança um kernel separado para cada etapa e grava cada tensor intermediário na memória. A matemática está correta, mas o tempo gasto movendo valores e disparando kernels supera o tempo da aritmética útil.

Um exemplo típico é o bloco SwiGLU, presente em modelos modernos. Ele envolve três multiplicações de matrizes, a ativação SiLU e uma multiplicação elemento a elemento. Cada fronteira entre operações significa uma escrita na HBM e uma leitura de volta. Se a SiLU for fundida com a multiplicação, uma passagem pelos dados substitui duas.

Outros candidatos à fusão são: a soma com o sinal original combinada com a normalização RMSNorm ou LayerNorm, o bias com a ativação, os embeddings posicionais (RoPE) para consultas e chaves, a atualização do cache KV, e a desquantização junto com a multiplicação de matrizes. Mas a fusão tem limites. Se quase todo o tempo é consumido por uma única multiplicação de matrizes gigantesca, o ganho é pequeno. Um kernel excessivamente grande sobrecarrega os registradores da GPU, reduz a ocupação dos blocos de computação e pode acabar mais lento do que vários kernels bem ajustados. O autor recomenda manter o código simples como referência e escolher os kernels de forma empírica, perfilando toda a carga de trabalho.

FlashAttention e cache KV paginado

A atenção ingênua constrói a matriz de escores Q·Kᵀ com tamanho T² por cabeça, em que T é o comprimento da sequência. Gravar essa matriz na memória e relê-la para o softmax consome largura de banda, e isso se torna gargalo no prefill (o processamento inicial do prompt) em sequências longas. O FlashAttention contorna o problema: processa consultas, chaves e valores em blocos, atualiza as estatísticas do softmax e acumula o resultado na memória rápida, diretamente no chip. A matriz completa nunca chega à memória principal.

No PyTorch, isso está disponível por meio de scaled_dot_product_attention. O framework escolhe o backend automaticamente conforme o dispositivo, o tipo de dado, o formato dos tensores e a máscara. A prioridade pode ser definida manualmente com sdpa_kernel, mas uma escolha fixa é arriscada: se nem o FlashAttention nem o backend cuDNN suportarem suas entradas ou seu hardware, o código falhará.

É importante diferenciar as fases. O FlashAttention é especialmente útil no prefill, em que muitos tokens são processados juntos. No decode, quando o modelo gera a resposta um token por vez, há uma ou poucas consultas novas, e o gargalo costuma ser a leitura do cache KV crescente, isto é, dos dados armazenados sobre os tokens já processados.

Aí entra o paged attention. O cache KV de uma requisição cresce a cada token e termina em um comprimento imprevisível. Se for exigido um único bloco contínuo de memória para ele, parte do espaço fica reservada sem uso, e mover ou expandir o cache se torna caro.

A abordagem paginada divide a memória em blocos de tamanho fixo e mantém uma tabela que relaciona blocos lógicos a blocos físicos. O kernel percorre essa tabela e não pode presumir que K[t+1] esteja ao lado de K[t]. Os blocos são alocados conforme a necessidade, devolvidos ao pool quando a requisição termina e podem ser compartilhados entre sequências com prefixo comum.

O número de elementos lógicos do KV não diminui; o ganho está na menor fragmentação e no menor espaço reservado.

No exemplo com vLLM, o autor define explicitamente block_size=16 e o backend TRITON_ATTN. O parâmetro block_size, por si só, não escolhe o backend de computação.

torch.compile e CUDA Graphs

Escrever kernels em CUDA ou Triton manualmente é trabalho para especialistas. A alternativa é o TorchDynamo, que captura o grafo de operações, e o TorchInductor, o backend padrão do torch.compile, que otimiza esse grafo, reaproveita buffers e funde operações elemento a elemento compatíveis em um único kernel Triton. Mas nem tudo é fundido. Quebras de grafo causadas por ramificações que dependem dos dados, operações não suportadas ou conversões de tensores em escalares Python dividem o modelo em vários grafos.

O modo reduce-overhead acrescenta CUDA Graphs. A fusão reduz o número de kernels e o tráfego de memória. Um CUDA Graph registra a sequência restante de operações da GPU e a executa com um único comando vindo da CPU, eliminando o custo de lançamento. Isso funciona melhor em tarefas repetitivas com lote pequeno, como o decode. Se os formatos das requisições mudam o tempo todo, o benefício diminui, e a memória dos buffers de trabalho pode crescer.

O que fazer na prática

  • Perfile a aplicação inteira, e não um kernel isolado: um número menor de kernels no profiler é apenas um indício de ganho.
  • Ative TORCH_LOGS=perf_hints e output_code antes de iniciar o Python, para ver quais operações o Inductor fundiu.
  • Compare os resultados com uma tolerância adequada ao seu tipo de dado: a ordem das operações muda, e pequenas divergências numéricas são normais.
  • Fique atento às formas dinâmicas: elas provocam recompilação e podem reduzir o efeito da fusão.

O material é didático e não traz medições próprias, mas, como mapa de causas e soluções para quem acelera a inferência em vLLM ou PyTorch, é útil.

História

Perguntas frequentes sobre a notícia

Por que o código "correto" fica lento?

Uma camada do transformer é composta por etapas conhecidas: projeções lineares, atenção, normalização, funções de ativação e a soma com o sinal original (residual). A implementação direta lança um kernel separado para cada etapa e grava cada tensor intermediário na memória. A matemática está correta, mas o tempo gasto movendo valores e disparando kernels supera o tempo da aritmética útil. Um exemplo típico é o bloco SwiGLU, presente em modelos modernos.

O que se sabe sobre FlashAttention e cache KV paginado?

A atenção ingênua constrói a matriz de escores Q·Kᵀ com tamanho T² por cabeça, em que T é o comprimento da sequência. Gravar essa matriz na memória e relê-la para o softmax consome largura de banda, e isso se torna gargalo no prefill (o processamento inicial do prompt) em sequências longas. O FlashAttention contorna o problema: processa consultas, chaves e valores em blocos, atualiza as estatísticas do softmax e acumula o resultado na memória rápida, diretamente no chip.

O que se sabe sobre torch.compile e CUDA Graphs?

Escrever kernels em CUDA ou Triton manualmente é trabalho para especialistas. A alternativa é o TorchDynamo, que captura o grafo de operações, e o TorchInductor, o backend padrão do torch.compile, que otimiza esse grafo, reaproveita buffers e funde operações elemento a elemento compatíveis em um único kernel Triton. Mas nem tudo é fundido. Quebras de grafo causadas por ramificações que dependem dos dados, operações não suportadas ou conversões de tensores em escalares Python dividem o modelo em vários grafos.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…