NVIDIA Transformer Engine: kernels fusionados, FP8 y BF16 para entrenar transformers

NVIDIA Transformer Engine es una biblioteca para acelerar el entrenamiento de modelos transformer en GPU Ampere y posteriores. Un tutorial publicado el 1 de agosto de 2026 en MarkTechPost muestra cómo integrar TE en un modelo tipo GPT, configurar la cuantización FP8 y medir la mejora en velocidad y memoria.

Qué es NVIDIA Transformer Engine

NVIDIA Transformer Engine es la biblioteca oficial para optimizar transformers en GPU de clase Ampere o superior. Ofrece reemplazos directos (drop-in) de las capas estándar de PyTorch: `te.Linear`, `te.LayerNorm`, `te.LayerNormLinear`, `te.LayerNormMLP` y el bloque completo `te.TransformerLayer`. Todos los componentes trabajan con BF16 por defecto; en las tarjetas con compute capability ≥ 8.9 están disponibles los tensor cores FP8.

Componentes clave de la biblioteca:

• `te.Linear`: capa lineal compatible con los tensor cores FP8
• `te.LayerNormLinear`: combina LayerNorm y la proyección en un único kernel
• `te.LayerNormMLP`: bloque MLP fusionado con normalización
• `te.TransformerLayer`: bloque transformer completo, con atención, FFN y normalización
• Retroceso automático a PyTorch puro en las GPU sin soporte para TE

Cómo funcionan FP8 y DelayedScaling

El modo FP8 se activa mediante la receta `DelayedScaling` de `transformer_engine.common.recipe`. La receta controla el historial de máximos de los tensores (`amax_history_len=16`), el algoritmo de cálculo (`amax_compute_algo="max"`) y el formato híbrido E4M3/E5M2: el primero aporta precisión a las activaciones y el segundo ofrece un rango dinámico ampliado para los gradientes.

La característica clave del escalado diferido es que acumula estadísticas durante 16 iteraciones antes de actualizar la escala del tensor. Esto estabiliza el entrenamiento en los primeros pasos, cuando la distribución de las activaciones aún no se ha asentado.

«Transformer

Engine combina kernels fusionados, escalado FP8 y rutas de ejecución optimizadas para Ampere, lo que lo convierte en una opción práctica para entrenar modelos grandes», señala la documentación oficial de NVIDIA.

En el tutorial, los autores construyen un modelo compacto tipo GPT, `MiniGPT_TE`: cuatro bloques `te.TransformerLayer`, un espacio de dimensión 768, 12 cabezas de atención, un vocabulario de 96 tokens y una longitud de secuencia de 256. El modelo se entrena con datos sintéticos deterministas. Las mediciones muestran que el modo FP8 en una GPU de clase H100 reduce el consumo máximo de VRAM y el tiempo de cada paso frente a BF16, mientras que la precisión se mantiene comparable; los autores la comprueban mediante generación autorregresiva tras el entrenamiento.

Requisitos de GPU

Transformer Engine solo funciona en GPU con compute capability ≥ 8.0 (arquitectura Ampere). Los tensor cores FP8 están disponibles a partir de CC ≥ 8.9: es decir, Ada Lovelace (RTX 40xx) y Hopper (H100/H200). En las tarjetas T4 y anteriores, la biblioteca recurre a PyTorch puro, sin kernels fusionados.

• Mínimo para los kernels de TE: Ampere, CC ≥ 8.0 (A10, A100, RTX 30xx)
• Mínimo para FP8: Ada Lovelace / Hopper, CC ≥ 8.9
• Instalación: `pip install transformer_engine[pytorch]`
• Dependencias: CUDA 11.8+, PyTorch 2.0+

Según los autores del tutorial, para reproducirlo por completo basta con una GPU A100 o L4 en Google Colab; en T4 solo está disponible el modo de retroceso, sin kernels fusionados.

Qué significa

NVIDIA Transformer Engine reduce la barrera de entrada al entrenamiento en baja precisión: en lugar de implementar a mano la cuantización FP8, basta con sustituir las capas estándar de PyTorch por sus equivalentes de TE. Para los equipos que entrenan modelos grandes en clústeres de GPU, es una forma práctica de reducir el consumo de memoria y el tiempo por iteración sin rediseñar la arquitectura.

Preguntas frecuentes

¿Hace falta una H100 para usar Transformer Engine?

No. NVIDIA Transformer Engine funciona en cualquier GPU con compute capability ≥ 8.0, incluidas la A100 y la RTX 3090. Los tensor cores FP8 solo están disponibles con CC ≥ 8.9, es decir, en la H100 y la RTX 4090; en el resto de las tarjetas, la biblioteca cambia automáticamente a BF16.

¿Cómo se instala Transformer Engine?

La instalación se hace con pip: `pip install transformer_engine[pytorch]`. Se requieren CUDA 11.8 o superior y PyTorch 2.0+.