Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarMachine Learning Mastery→ original

Fusión de operaciones y FlashAttention: cómo evitar que la GPU se quede parada esperando memoria

Durante la inferencia, la GPU a menudo no calcula, sino que espera: cada operación pequeña se lanza por separado y escribe su resultado intermedio en memoria. La fusión de operaciones une esos pasos en una sola pasada, como un cocinero que corta la ensalada en un solo cuenco en lugar de en cinco. FlashAttention calcula la atención por bloques y no construye en memoria una enorme matriz T×T. Los pesos y las fórmulas son los mismos, así que lo primero es activar los backends listos y perfilar toda la carga de trabajo.

Procesado por IA desde Machine Learning Mastery; editado por Hamidun News
Fusión de operaciones y FlashAttention: cómo evitar que la GPU se quede parada esperando memoria
Fuente: Machine Learning Mastery. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalMachine Learning Mastery ↗
Editor jefe
Dato clave #1La atención paginada reduce la fragmentación de la caché KV con bloques de 16 tokens
Dato clave #2FlashAttention ayuda en el prefill; en el decode importa más la lectura de la caché KV
Torch.compile no siempre aceleralas interrupciones del grafo rompen la fusión

Cuando la inferencia de un modelo de lenguaje va más lenta de lo esperado, la primera idea suele ser que hace falta una GPU más potente. Pero a menudo el acelerador no calcula, sino que espera. Cada operación pequeña de una capa se lanza como un "kernel" separado (así se llama al programa que se ejecuta en la GPU), y su resultado intermedio se escribe en la memoria de vídeo principal, HBM, y se vuelve a leer de inmediato.

Es como preparar una ensalada pasando cada ingrediente cortado a un cuenco nuevo: cortas menos de lo que llevas platos de un lado a otro. La fusión de operaciones (operator fusion) une varios pasos en una sola pasada, y FlashAttention hace lo mismo con el mecanismo de atención. Los pesos y las fórmulas del modelo siguen siendo los mismos.

Adrian Tam habló de esta capa de optimización en un artículo didáctico de Machine Learning Mastery. El material no incluye mediciones propias de velocidad, pero explica con claridad las causas de las ralentizaciones y cómo tratarlas.

Por qué el código "correcto" resulta lento

Una capa del transformador consta de pasos conocidos: proyecciones lineales, atención, normalización, funciones de activación y suma con la señal original (residual). Una implementación directa lanza un kernel independiente por cada paso y escribe en memoria cada tensor intermedio. Las matemáticas son correctas, pero se invierte más tiempo en mover valores y lanzar kernels que en la aritmética útil.

Un ejemplo típico es el bloque SwiGLU de los modelos modernos. Contiene tres multiplicaciones de matrices, la activación SiLU y una multiplicación elemento a elemento. Cada frontera entre operaciones implica escribir en HBM y leer de nuevo. Si se fusiona SiLU con la multiplicación, una sola pasada por los datos sustituye a dos.

Otros candidatos a fusión son: la suma residual junto con la normalización RMSNorm o LayerNorm, el bias con la activación, los embeddings posicionales (RoPE) para consultas y claves, la actualización de la caché KV y la descuantización junto con la multiplicación de matrices. Pero la fusión tiene límites. Si casi todo el tiempo lo consume una única multiplicación de matrices enorme, la ganancia es pequeña. Un kernel demasiado grande sobrecarga los registros de la GPU, reduce la ocupación de las unidades de cálculo y puede resultar más lento que varios bien ajustados. El autor recomienda mantener el código simple como referencia y elegir los kernels de forma empírica, perfilando toda la carga de trabajo.

FlashAttention y la caché KV paginada

La atención ingenua construye una matriz de puntuaciones Q·Kᵀ de tamaño T² por cabeza, donde T es la longitud de la secuencia. Escribir esa matriz en memoria y releerla para el softmax consume ancho de banda, y en un prefill largo se convierte en el cuello de botella. FlashAttention evita el problema: procesa consultas, claves y valores por bloques, actualiza las estadísticas del softmax y acumula el resultado en la memoria rápida del propio chip. La matriz completa nunca llega a la memoria principal.

En PyTorch esto está disponible a través de scaled_dot_product_attention. El framework elige el backend según el dispositivo, el tipo de datos, la forma de los tensores y la máscara. La prioridad puede fijarse manualmente con sdpa_kernel, pero forzarla es arriesgado: si ni FlashAttention ni el backend de cuDNN admiten tus entradas o tu hardware, el código fallará.

Hay que distinguir las fases. FlashAttention resulta especialmente útil en el prefill, donde se procesan muchos tokens a la vez. En el decode, cuando el modelo genera la respuesta token a token, hay una o unas pocas consultas nuevas, y el cuello de botella suele ser la lectura de la caché KV creciente, es decir, de los datos guardados sobre los tokens ya procesados.

Aquí entra la atención paginada (paged attention). La caché KV de cada solicitud crece token a token y termina en una longitud impredecible. Si se exige para ella un único bloque continuo de memoria, parte del espacio queda reservado sin uso, y mover o ampliar la caché resulta caro.

El enfoque paginado divide la memoria en bloques de tamaño fijo y mantiene una tabla que relaciona los bloques lógicos con los físicos. El kernel recorre esa tabla y no puede suponer que K[t+1] esté junto a K[t]. Los bloques se asignan según se necesitan, vuelven al pool al terminar la solicitud y pueden compartirse entre secuencias con un prefijo común.

Esto no reduce el número de elementos lógicos de la KV: la ganancia está en menos fragmentación y menos reserva.

En el ejemplo con vLLM, el autor fija explícitamente block_size=16 y el backend TRITON_ATTN. El parámetro block_size por sí mismo no selecciona el backend de cálculo.

torch.compile y CUDA Graphs

Escribir kernels a mano en CUDA o Triton es trabajo para especialistas. La alternativa es TorchDynamo, que captura el grafo de operaciones, y TorchInductor, el backend por defecto de torch.compile, que lo optimiza, reutiliza buffers y fusiona las operaciones elemento a elemento compatibles en un único kernel de Triton. Pero no todo se fusiona. Las interrupciones del grafo provocadas por ramas que dependen de los datos, operaciones no soportadas o la conversión de tensores a escalares de Python dividen el modelo en varios grafos.

El modo reduce-overhead añade CUDA Graphs. La fusión reduce el número de kernels y el tráfico de memoria. Un CUDA Graph registra la secuencia restante de operaciones de la GPU y la lanza con una sola orden desde la CPU, eliminando la sobrecarga de lanzamiento. Esto encaja mejor con tareas repetitivas de lote pequeño, como el decode. Si las formas de las solicitudes cambian constantemente, el beneficio es menor y la memoria de los buffers de trabajo puede crecer.

Qué hacer en la práctica

  • Perfile toda la aplicación, no un kernel aislado: que el perfilador muestre menos kernels es solo una pista de la ganancia.
  • Active TORCH_LOGS=perf_hints y output_code antes de iniciar Python para ver qué operaciones unió Inductor.
  • Compare los resultados con una tolerancia adecuada a su tipo de datos: el orden de las operaciones cambia y las pequeñas discrepancias numéricas son normales.
  • Vigile las formas dinámicas: provocan recompilaciones y pueden reducir el efecto de la fusión.

El material es didáctico y no incluye mediciones propias, pero como mapa de causas y medidas resulta útil para quienes optimizan la inferencia con vLLM o PyTorch.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué el código "correcto" resulta lento?

Una capa del transformador consta de pasos conocidos: proyecciones lineales, atención, normalización, funciones de activación y suma con la señal original (residual). Una implementación directa lanza un kernel independiente por cada paso y escribe en memoria cada tensor intermedio. Las matemáticas son correctas, pero se invierte más tiempo en mover valores y lanzar kernels que en la aritmética útil. Un ejemplo típico es el bloque SwiGLU de los modelos modernos.

¿Qué se sabe sobre FlashAttention y la caché KV paginada?

La atención ingenua construye una matriz de puntuaciones Q·Kᵀ de tamaño T² por cabeza, donde T es la longitud de la secuencia. Escribir esa matriz en memoria y releerla para el softmax consume ancho de banda, y en un prefill largo se convierte en el cuello de botella. FlashAttention evita el problema: procesa consultas, claves y valores por bloques, actualiza las estadísticas del softmax y acumula el resultado en la memoria rápida del propio chip. La matriz completa nunca llega a la memoria principal.

¿Qué se sabe sobre torch.compile y CUDA Graphs?

Escribir kernels a mano en CUDA o Triton es trabajo para especialistas. La alternativa es TorchDynamo, que captura el grafo de operaciones, y TorchInductor, el backend por defecto de torch.compile, que lo optimiza, reutiliza buffers y fusiona las operaciones elemento a elemento compatibles en un único kernel de Triton. Pero no todo se fusiona.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…