NVIDIA explica como treinar transformers com precisão reduzida sem perder qualidade

A NVIDIA publicou no Developer Blog um guia detalhado sobre a otimização de arquiteturas transformer para treinamento com precisão numérica reduzida, usando FP8 e BF16. O artigo é voltado a engenheiros que querem reduzir o custo das execuções de treinamento sem perder qualidade do modelo.

Por que as equipes precisam disso

Os transformers são a base da maioria dos modelos de linguagem e generativos atuais. À medida que crescem, de bilhões a dezenas de bilhões de parâmetros, o custo de uma única execução de treinamento aumenta de forma exponencial. Cada iteração de um experimento consome mais horas de GPU, o que atrasa e encarece o desenvolvimento.

Na prática, treinamento lento não é só um incômodo técnico. Ele limita quantas hipóteses uma equipe consegue testar por trimestre e que tamanho de modelo ela pode bancar. A NVIDIA trata a aceleração de transformers não como uma otimização, mas como condição para se manter competitivo.

O que é treinamento em baixa precisão

O treinamento padrão de redes neurais usa o formato de 32 bits (FP32), que oferece alta precisão numérica, mas consome muita memória e roda mais devagar nas GPUs atuais. Reduzir a quantidade de bits permite caber mais dados na memória de vídeo e acelerar as operações matriciais:

• FP16: números de ponto flutuante de 16 bits; suportado pela maioria das GPUs atuais
• BF16: Brain Float 16; tem faixa dinâmica mais ampla e se adapta melhor ao treinamento instável de modelos grandes
• FP8: formato de oito bits disponível na arquitetura Hopper (H100, H200); dobra a vazão das operações matriciais em relação ao BF16
• INT8: inteiro de 8 bits; é usado com mais frequência em inferência do que em treinamento

O principal desafio é manter a estabilidade numérica com uma redução tão grande de precisão. Migrar de FP32 para FP8 de forma ingênua leva a gradientes divergentes e treinamento instável.

Técnicas que a NVIDIA recomenda

Trocar simplesmente o formato não funciona, por isso a NVIDIA descreve várias abordagens já testadas.

Precisão mista (mixed precision). Os pesos ficam armazenados em FP32, enquanto as passagens direta e reversa rodam em FP16 ou BF16. Isso combina a velocidade do cálculo em baixa precisão com a confiabilidade do armazenamento de parâmetros em precisão total. É o padrão de fato na maioria dos pipelines de treinamento atuais.

Escalonamento de perda (loss scaling). O FP16 representa mal números muito pequenos, e os gradientes das camadas finais podem virar zero. O loss scaling aumenta artificialmente o valor da função de perda antes da passagem reversa e depois reescala os gradientes. As implementações modernas fazem isso de forma automática e adaptativa.

TransformerEngine. Biblioteca especializada da NVIDIA que gerencia automaticamente a precisão em cada camada do transformer. Suporta FP8 na Hopper e se integra com PyTorch, JAX e Megatron-LM. Em vez de reescrever todo o código de treinamento, o engenheiro adiciona o TransformerEngine e obtém a aceleração do FP8 com mudanças mínimas.

"À medida que os modelos crescem, as execuções de treinamento consomem cada vez mais horas de GPU e tempo de engenharia.

Isso afeta diretamente a rapidez com que as equipes conseguem experimentar e o tamanho de modelo que podem bancar", — NVIDIA Developer Blog.

O que isso significa

O guia chega num momento em que a eficiência do treinamento se tornou tão importante quanto a precisão do modelo. Equipes com H100 ou H200 recebem uma instrução concreta: FP8 via TransformerEngine é uma das formas mais acessíveis de reduzir o orçamento de GPU sem refazer a arquitetura. Para laboratórios pequenos, isso pode ser a diferença entre treinar um modelo de 70 bilhões de parâmetros e desistir dele por causa do custo.