NVIDIA explica cómo entrenar transformers con menor precisión sin perder calidad

NVIDIA ha publicado en su Developer Blog una guía detallada para optimizar arquitecturas transformer en el entrenamiento con precisión de cálculo reducida, mediante FP8 y BF16. El artículo se dirige a ingenieros que quieren abaratar las ejecuciones de entrenamiento sin perder calidad en el modelo.

Por qué lo necesitan los equipos

Los transformers son la base de la mayoría de los modelos de lenguaje y generativos actuales. A medida que crecen, de miles de millones a decenas de miles de millones de parámetros, el coste de una sola ejecución de entrenamiento aumenta de forma exponencial. Cada iteración de un experimento requiere más horas de GPU, lo que ralentiza y encarece el desarrollo.

En la práctica, un entrenamiento lento no es solo una molestia técnica. Limita cuántas hipótesis puede comprobar un equipo por trimestre y qué tamaño de modelo se puede permitir. NVIDIA presenta la aceleración de los transformers no como una optimización, sino como una condición para seguir siendo competitivo.

Qué es el entrenamiento de baja precisión

El entrenamiento estándar de redes neuronales usa un formato de 32 bits (FP32), que ofrece gran precisión numérica pero consume mucha memoria y es más lento en las GPU actuales. Reducir el número de bits permite alojar más datos en la memoria de vídeo y acelerar las operaciones matriciales:

• FP16: números de coma flotante de 16 bits; lo admiten la mayoría de las GPU actuales
• BF16: Brain Float 16; tiene un rango dinámico más amplio y encaja mejor en el entrenamiento inestable de modelos grandes
• FP8: formato de ocho bits disponible en la arquitectura Hopper (H100, H200); duplica el rendimiento de las operaciones matriciales respecto a BF16
• INT8: entero de 8 bits; se usa más en inferencia que en entrenamiento

La principal dificultad es conservar la estabilidad numérica con una precisión tan baja. Pasar de FP32 a FP8 sin más provoca gradientes divergentes y un entrenamiento inestable.

Técnicas que recomienda NVIDIA

Sustituir el formato sin más no funciona, así que NVIDIA describe varios enfoques probados.

Precisión mixta (mixed precision). Los pesos se almacenan en FP32, mientras que los pasos hacia delante y hacia atrás se ejecutan en FP16 o BF16. Así se combina la velocidad del cálculo de baja precisión con la fiabilidad del almacenamiento de parámetros en precisión completa. Es el estándar de facto en la mayoría de los pipelines de entrenamiento actuales.

Escalado de pérdidas (loss scaling). FP16 representa mal los números muy pequeños, por lo que los gradientes de las capas finales pueden quedar en cero. El loss scaling aumenta artificialmente el valor de la función de pérdida antes del paso hacia atrás y luego reescala los gradientes. Las implementaciones actuales lo hacen de forma automática y adaptativa.

TransformerEngine. Biblioteca especializada de NVIDIA que gestiona automáticamente la precisión a nivel de cada capa del transformer. Admite FP8 en Hopper y se integra con PyTorch, JAX y Megatron-LM. En lugar de reescribir todo el código de entrenamiento, el ingeniero incorpora TransformerEngine y obtiene la aceleración de FP8 con cambios mínimos.

«A medida que crecen los modelos, las ejecuciones de entrenamiento consumen cada vez más horas de GPU y tiempo de ingeniería.

Esto afecta directamente a la rapidez con que los equipos pueden experimentar y al tamaño de modelo que pueden permitirse», — NVIDIA Developer Blog.

Qué significa

La guía llega en un momento en que la eficiencia del entrenamiento se ha vuelto tan importante como la precisión del modelo. Los equipos con H100 o H200 reciben una instrucción concreta: FP8 mediante TransformerEngine es una de las formas más accesibles de recortar el presupuesto de GPU sin rediseñar la arquitectura. Para los laboratorios pequeños, puede marcar la diferencia entre entrenar un modelo de 70.000 millones de parámetros o renunciar a él por su coste.