NVIDIA cria método para treinar redes neurais com precisão de 4 bits

A NVIDIA apresentou o NVFP4, uma nova metodologia para treinar redes neurais com precisão de 4 bits. Isso permite economizar bastante memória e recursos computacionais no treinamento de modelos grandes.

Como funciona

A abordagem padrão usa precisão de 8 bits (FP8) ou 16 bits (BF16) para armazenar resultados intermediários e gradientes do treinamento. A NVIDIA conseguiu reduzir esses requisitos de memória pela metade ao migrar para o formato de 4 bits NVFP4.

O método não se limita a cortar a precisão: ele combina várias técnicas, como o uso seletivo do BF16, mais preciso, em camadas críticas do modelo, transformações matemáticas especiais nos dados de entrada dos gradientes (transformadas aleatórias de Hadamard de 16×16) e arredondamento estocástico nos cálculos.

Tradicionalmente, o treinamento em 4 bits era considerado arriscado: em treinos longos, os erros de arredondamento se acumulam e degradam o modelo. A empresa testou o NVFP4 em um modelo híbrido Mamba-Transformer com 12 bilhões de parâmetros, treinado com 10 trilhões de tokens, o mais longo experimento público com treinamento em 4 bits. Isso mostra que, com a metodologia certa, os erros numéricos não se acumulam de forma catastrófica.

Resultados superaram as expectativas

A métrica principal foi a precisão no benchmark MMLU-Pro, um teste amplo de conhecimento que cobre matemática, ciências naturais, humanidades e outras áreas. O modelo com NVFP4 marcou 62.58%, apenas 0.04% abaixo do modelo treinado com o método tradicional FP8 (62.62%). Para aplicações práticas, essa diferença é totalmente insignificante: a precisão fica dentro da margem de erro da medição.

Com uma economia de memória de duas vezes, é um caso raro em que reduzir a precisão da representação numérica não causou queda perceptível na qualidade dos resultados. Isso significa que o NVFP4 não sacrifica a correção para economizar recursos.

• Redução de memória: 2 vezes em relação ao FP8
• Perda de precisão no benchmark: menos de 0.1%
• Escala do experimento: 10 trilhões de tokens
• Arquitetura: modelo híbrido Mamba-Transformer com 12 bilhões de parâmetros

O que isso significa para a indústria

O resultado é importante para empresas que treinam modelos do zero. Economizar metade da memória significa que o mesmo volume de computação pode ser executado mais rápido e mais barato, ou que os recursos poupados podem ir para o treinamento de modelos maiores. Se a sua empresa treina um modelo com 1000 GPU-dias de A100, o NVFP4 pode reduzir isso para 500 GPU-dias mantendo a qualidade.

Para pesquisadores, isso abre novas possibilidades de experimentar com arquiteturas, volumes de dados e hiperparâmetros. Ficará mais fácil testar novas ideias em modelos maiores em um único dia do que em modelos menores ao longo de uma semana.

No entanto, o método ainda precisa de validação adicional em outros tipos de modelos, especialmente em transformers puros e em modelos com outra estrutura. Até agora, a NVIDIA mostrou resultados apenas na arquitetura híbrida Mamba-Transformer.

Também é importante entender que o treinamento em 4 bits é uma técnica especializada, que exige otimizações específicas no software e suporte no hardware (por ora, o suporte completo existe apenas em GPUs NVIDIA).