Fusão de operações e FlashAttention: como evitar que a GPU fique ociosa esperando a memória
Durante a inferência, a GPU muitas vezes não está calculando, e sim esperando: cada operação pequena é lançada separadamente e grava seu resultado intermediário na memória. A fusão de operações junta essas etapas em uma única passagem, como um cozinheiro que corta a salada em uma só tigela, e não em cinco. O FlashAttention calcula a atenção em blocos e não constrói na memória uma enorme matriz T×T. Os pesos e as fórmulas são os mesmos, por isso o primeiro passo é ativar os backends prontos e perfilar toda a carga de trabalho.
Processado por IA de Machine Learning Mastery; editado por Hamidun News
Quando a inferência de um modelo de linguagem é mais lenta do que se gostaria, a primeira ideia costuma ser a de que é preciso uma GPU mais potente. Mas, com frequência, o acelerador não calcula e sim espera. Cada pequena operação de uma camada é disparada como um "kernel" separado (é assim que se chama um programa executado na GPU), e seu resultado intermediário é gravado na memória de vídeo principal, a HBM, e logo lido de volta.
É como preparar uma salada passando cada ingrediente cortado para uma tigela nova: a faca trabalha menos do que a louça circula. A fusão de operações (operator fusion) junta vários passos em uma única passagem, e o FlashAttention faz o mesmo com o mecanismo de atenção. Os pesos e as fórmulas do modelo permanecem os mesmos.
Essa camada de otimização foi explicada por Adrian Tam em um tutorial na Machine Learning Mastery. O material não traz medições próprias de velocidade, mas descreve com clareza as causas da lentidão e as formas de corrigi-la.
Por que o código "correto" fica lento
Uma camada do transformer é composta por etapas conhecidas: projeções lineares, atenção, normalização, funções de ativação e a soma com o sinal original (residual). A implementação direta lança um kernel separado para cada etapa e grava cada tensor intermediário na memória. A matemática está correta, mas o tempo gasto movendo valores e disparando kernels supera o tempo da aritmética útil.
Um exemplo típico é o bloco SwiGLU, presente em modelos modernos. Ele envolve três multiplicações de matrizes, a ativação SiLU e uma multiplicação elemento a elemento. Cada fronteira entre operações significa uma escrita na HBM e uma leitura de volta. Se a SiLU for fundida com a multiplicação, uma passagem pelos dados substitui duas.
Outros candidatos à fusão são: a soma com o sinal original combinada com a normalização RMSNorm ou LayerNorm, o bias com a ativação, os embeddings posicionais (RoPE) para consultas e chaves, a atualização do cache KV, e a desquantização junto com a multiplicação de matrizes. Mas a fusão tem limites. Se quase todo o tempo é consumido por uma única multiplicação de matrizes gigantesca, o ganho é pequeno. Um kernel excessivamente grande sobrecarrega os registradores da GPU, reduz a ocupação dos blocos de computação e pode acabar mais lento do que vários kernels bem ajustados. O autor recomenda manter o código simples como referência e escolher os kernels de forma empírica, perfilando toda a carga de trabalho.
FlashAttention e cache KV paginado
A atenção ingênua constrói a matriz de escores Q·Kᵀ com tamanho T² por cabeça, em que T é o comprimento da sequência. Gravar essa matriz na memória e relê-la para o softmax consome largura de banda, e isso se torna gargalo no prefill (o processamento inicial do prompt) em sequências longas. O FlashAttention contorna o problema: processa consultas, chaves e valores em blocos, atualiza as estatísticas do softmax e acumula o resultado na memória rápida, diretamente no chip. A matriz completa nunca chega à memória principal.
No PyTorch, isso está disponível por meio de scaled_dot_product_attention. O framework escolhe o backend automaticamente conforme o dispositivo, o tipo de dado, o formato dos tensores e a máscara. A prioridade pode ser definida manualmente com sdpa_kernel, mas uma escolha fixa é arriscada: se nem o FlashAttention nem o backend cuDNN suportarem suas entradas ou seu hardware, o código falhará.
É importante diferenciar as fases. O FlashAttention é especialmente útil no prefill, em que muitos tokens são processados juntos. No decode, quando o modelo gera a resposta um token por vez, há uma ou poucas consultas novas, e o gargalo costuma ser a leitura do cache KV crescente, isto é, dos dados armazenados sobre os tokens já processados.
Aí entra o paged attention. O cache KV de uma requisição cresce a cada token e termina em um comprimento imprevisível. Se for exigido um único bloco contínuo de memória para ele, parte do espaço fica reservada sem uso, e mover ou expandir o cache se torna caro.
A abordagem paginada divide a memória em blocos de tamanho fixo e mantém uma tabela que relaciona blocos lógicos a blocos físicos. O kernel percorre essa tabela e não pode presumir que K[t+1] esteja ao lado de K[t]. Os blocos são alocados conforme a necessidade, devolvidos ao pool quando a requisição termina e podem ser compartilhados entre sequências com prefixo comum.
O número de elementos lógicos do KV não diminui; o ganho está na menor fragmentação e no menor espaço reservado.
No exemplo com vLLM, o autor define explicitamente block_size=16 e o backend TRITON_ATTN. O parâmetro block_size, por si só, não escolhe o backend de computação.
torch.compile e CUDA Graphs
Escrever kernels em CUDA ou Triton manualmente é trabalho para especialistas. A alternativa é o TorchDynamo, que captura o grafo de operações, e o TorchInductor, o backend padrão do torch.compile, que otimiza esse grafo, reaproveita buffers e funde operações elemento a elemento compatíveis em um único kernel Triton. Mas nem tudo é fundido. Quebras de grafo causadas por ramificações que dependem dos dados, operações não suportadas ou conversões de tensores em escalares Python dividem o modelo em vários grafos.
O modo reduce-overhead acrescenta CUDA Graphs. A fusão reduz o número de kernels e o tráfego de memória. Um CUDA Graph registra a sequência restante de operações da GPU e a executa com um único comando vindo da CPU, eliminando o custo de lançamento. Isso funciona melhor em tarefas repetitivas com lote pequeno, como o decode. Se os formatos das requisições mudam o tempo todo, o benefício diminui, e a memória dos buffers de trabalho pode crescer.
O que fazer na prática
- Perfile a aplicação inteira, e não um kernel isolado: um número menor de kernels no profiler é apenas um indício de ganho.
- Ative TORCH_LOGS=perf_hints e output_code antes de iniciar o Python, para ver quais operações o Inductor fundiu.
- Compare os resultados com uma tolerância adequada ao seu tipo de dado: a ordem das operações muda, e pequenas divergências numéricas são normais.
- Fique atento às formas dinâmicas: elas provocam recompilação e podem reduzir o efeito da fusão.
O material é didático e não traz medições próprias, mas, como mapa de causas e soluções para quem acelera a inferência em vLLM ou PyTorch, é útil.
- 21 de mai. de 2026FlashAttention-4: como a Together AI acelerou a atenção nas GPUs Blackwell
- 17 de fev. de 2026A batalha pela memória: por que a infraestrutura de IA não se resume mais às GPUs
- 30 de abr. de 2026VS Code 1.111 lança o Autopilot: agente de IA escreve, testa e faz deploy por conta própria
- 23 de mai. de 2026Redes neurais rodam 2 vezes mais rápido: FlashAttention-3, da NVIDIA
Perguntas frequentes sobre a notícia
Por que o código "correto" fica lento?
Uma camada do transformer é composta por etapas conhecidas: projeções lineares, atenção, normalização, funções de ativação e a soma com o sinal original (residual). A implementação direta lança um kernel separado para cada etapa e grava cada tensor intermediário na memória. A matemática está correta, mas o tempo gasto movendo valores e disparando kernels supera o tempo da aritmética útil. Um exemplo típico é o bloco SwiGLU, presente em modelos modernos.
O que se sabe sobre FlashAttention e cache KV paginado?
A atenção ingênua constrói a matriz de escores Q·Kᵀ com tamanho T² por cabeça, em que T é o comprimento da sequência. Gravar essa matriz na memória e relê-la para o softmax consome largura de banda, e isso se torna gargalo no prefill (o processamento inicial do prompt) em sequências longas. O FlashAttention contorna o problema: processa consultas, chaves e valores em blocos, atualiza as estatísticas do softmax e acumula o resultado na memória rápida, diretamente no chip.
O que se sabe sobre torch.compile e CUDA Graphs?
Escrever kernels em CUDA ou Triton manualmente é trabalho para especialistas. A alternativa é o TorchDynamo, que captura o grafo de operações, e o TorchInductor, o backend padrão do torch.compile, que otimiza esse grafo, reaproveita buffers e funde operações elemento a elemento compatíveis em um único kernel Triton. Mas nem tudo é fundido. Quebras de grafo causadas por ramificações que dependem dos dados, operações não suportadas ou conversões de tensores em escalares Python dividem o modelo em vários grafos.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.