NVIDIA crea un método para entrenar redes neuronales con precisión de 4 bits

NVIDIA ha presentado NVFP4, una nueva metodología para entrenar redes neuronales con precisión de 4 bits. Permite ahorrar de forma considerable memoria y recursos de cómputo al entrenar modelos grandes.

Cómo funciona

El enfoque estándar emplea precisión de 8 bits (FP8) o de 16 bits (BF16) para almacenar resultados intermedios y gradientes del entrenamiento. NVIDIA ha logrado reducir a la mitad estos requisitos de memoria al pasar al formato de 4 bits NVFP4.

El método no se limita a recortar la precisión, sino que combina varias técnicas: uso selectivo del más preciso BF16 en las capas críticas del modelo, transformaciones matemáticas especiales de los datos de entrada de los gradientes (transformaciones aleatorias de Hadamard de 16×16) y redondeo estocástico en los cálculos.

Tradicionalmente, el entrenamiento en 4 bits se consideraba arriesgado: en entrenamientos largos, los errores de redondeo se acumulan y degradan el modelo. La compañía probó NVFP4 en un modelo híbrido Mamba-Transformer con 12.000 millones de parámetros, entrenado con 10 billones de tokens, el experimento público más largo con entrenamiento en 4 bits. Esto demuestra que, con la metodología adecuada, los errores numéricos no se acumulan de forma catastrófica.

Los resultados superaron las expectativas

La métrica clave fue la precisión en el benchmark MMLU-Pro, una amplia prueba de conocimientos que abarca matemáticas, ciencias naturales, humanidades y otras áreas. El modelo con NVFP4 obtuvo un 62.58%, apenas un 0.04% menos que el modelo entrenado con el método tradicional FP8 (62.62%). Para aplicaciones prácticas, esta diferencia es del todo insignificante: la precisión queda dentro del margen de error de la medición.

Ante un ahorro de memoria del doble, es un caso poco frecuente en el que reducir la precisión de la representación numérica no provocó una caída apreciable en la calidad de los resultados. Esto significa que NVFP4 no sacrifica la corrección por ahorrar recursos.

• Reducción de memoria: 2 veces respecto a FP8
• Pérdida de precisión en el benchmark: menos del 0.1%
• Escala del experimento: 10 billones de tokens
• Arquitectura: modelo híbrido Mamba-Transformer con 12.000 millones de parámetros

Qué significa para la industria

El resultado importa a las empresas que entrenan modelos desde cero. Ahorrar el doble de memoria significa que el mismo volumen de cómputo puede ejecutarse más rápido y más barato, o que los recursos ahorrados pueden destinarse a entrenar modelos mayores. Si su empresa entrena un modelo con 1000 GPU-días de A100, NVFP4 podría reducirlo a 500 GPU-días conservando la calidad.

Para los investigadores, abre nuevas posibilidades para experimentar con arquitecturas, volúmenes de datos e hiperparámetros. Será más fácil probar ideas nuevas en modelos más grandes en un solo día que en modelos menores a lo largo de una semana.

Sin embargo, el método aún requiere validación adicional en otros tipos de modelos, sobre todo en transformers puros y en modelos con otra estructura. Por ahora, NVIDIA solo ha mostrado resultados en la arquitectura híbrida Mamba-Transformer.

También conviene recordar que el entrenamiento en 4 bits es una técnica especializada que exige optimizaciones específicas en el software y soporte en el hardware (por ahora, el soporte completo solo existe en las GPU de NVIDIA).