Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoArtigo científico · Para P&DMarkTechPost→ original

Como acelerar o treinamento de transformers com NVIDIA Apex: FusedAdam, FusedLayerNorm e torch.amp

O NVIDIA Apex, combinado com o torch.amp, permite acelerar o treinamento de transformers em 1.5 a 2.5 vezes sem alterar a arquitetura do modelo. As ferramentas principais são o FusedAdam no lugar do Adam padrão, o FusedLayerNorm para normalização e o autocast nativo para precisão mista. A análise inclui a compilação do Apex a partir do código-fonte e um benchmark passo a passo de cada componente.

Processado por IA de MarkTechPost; editado por Hamidun News
Como acelerar o treinamento de transformers com NVIDIA Apex: FusedAdam, FusedLayerNorm e torch.amp
Fonte: MarkTechPost. Colagem: Hamidun News.
Ouvir artigo

Treinar transformers é uma das tarefas que mais consomem recursos em ML. O PyTorch padrão funciona corretamente, mas deixa de lado uma margem considerável de desempenho: a maioria das operações roda de forma sequencial mesmo onde poderia ser combinada. O NVIDIA Apex oferece um conjunto de kernels CUDA otimizados, e o torch.amp nativo adiciona precisão mista. Juntos, entregam o mesmo resultado mais rápido e com menos memória de vídeo.

O que é o NVIDIA Apex e por que compilar a partir do código-fonte

O Apex é uma biblioteca de código aberto da NVIDIA que amplia o PyTorch com extensões CUDA otimizadas. Seu mecanismo central são os kernels "fundidos" (fused): operações que reúnem várias etapas de cálculo em uma única chamada à GPU. Isso reduz os acessos à memória e a sobrecarga de sincronização, o que pesa mais em operações pequenas, nas quais lançar um kernel leva mais tempo que o cálculo em si.

Um ponto importante: o pip install apex padrão não inclui as extensões CUDA. É preciso compilar manualmente a partir do código-fonte, com as flags --cuda_ext --cpp_ext. Para isso, são necessárias versões compatíveis do PyTorch, do CUDA Toolkit e de um compilador C++. Depois da instalação, vale verificar via código se os kernels estão disponíveis em apex.optimizers e apex.normalization, para garantir que as versões nativas estão em uso, e não os lentos fallbacks em Python.

FusedAdam, FusedLayerNorm e torch.amp

Três ferramentas respondem pela maior parte do ganho de desempenho no treinamento de transformers:

  • FusedAdam é o otimizador Adam reescrito em CUDA. Ele reúne em um único kernel a atualização dos pesos, o cálculo do primeiro e do segundo momento, o clipping por norma e o weight decay. Faz bem menos acessos à memória da GPU que a implementação padrão.
  • FusedLayerNorm é a Layer Normalization como um único kernel CUDA, em vez de uma cadeia de operações sequenciais do PyTorch (mean, variance, subtract, divide, scale, shift). Em transformers com dezenas de camadas de normalização, o efeito acumulado é perceptível.
  • torch.amp é o mecanismo de precisão mista automática embutido no PyTorch, usado por meio de autocast() e GradScaler. Ele muda os cálculos para BF16 ou FP16 onde isso é seguro, mantendo FP32 para o acúmulo de gradientes. Reduz o consumo de memória de vídeo em cerca de metade e acelera as multiplicações de matrizes em GPUs com tensor cores.

A principal vantagem é a mudança mínima no código: o FusedAdam é um substituto direto de torch.optim.Adam, o FusedLayerNorm substitui nn.LayerNorm, e o torch.amp entra como um wrapper em torno do forward pass, sem reescrever o restante da lógica de treinamento.

Benchmark passo a passo

Para isolar a contribuição de cada componente, as otimizações são ativadas por etapas, registrando o tempo por iteração e o pico de uso de memória de vídeo a cada passo:

  1. Adam básico + FP32: ponto de referência
  2. FusedAdam + FP32: ganho com a troca do otimizador
  3. FusedAdam + FusedLayerNorm + FP32: adiciona a normalização fundida
  4. FusedAdam + FusedLayerNorm + torch.amp (BF16): configuração completa

Essa abordagem incremental evita depender do resultado agregado de uma "caixa-preta": a contribuição de cada passo fica visível. A configuração final entrega ganho de 1.5× a 2.5× no tempo por iteração em relação à base; o número exato depende do tamanho do modelo, do batch e da arquitetura da GPU.

"Precisão mista combinada com kernels fundidos é o padrão de fato para o treinamento industrial de transformers".

O que isso significa

Para engenheiros de ML, é uma receita reproduzível com resultado mensurável: compilar o Apex a partir do código-fonte, trocar dois componentes e adicionar o gerenciador de contexto autocast, sem mudanças na estrutura dos dados, nas métricas ou na lógica de validação. É especialmente relevante com orçamento limitado de horas de GPU: os mesmos experimentos em menos tempo significam economia direta para equipes que treinam modelos grandes em hardware próprio ou na nuvem.

História

Perguntas frequentes sobre a notícia

O que é o NVIDIA Apex e por que compilar a partir do código-fonte?

O Apex é uma biblioteca de código aberto da NVIDIA que amplia o PyTorch com extensões CUDA otimizadas. Seu mecanismo central são os kernels "fundidos" (fused): operações que reúnem várias etapas de cálculo em uma única chamada à GPU. Isso reduz os acessos à memória e a sobrecarga de sincronização, o que pesa mais em operações pequenas, nas quais lançar um kernel leva mais tempo que o cálculo em si. Um ponto importante: o pip install apex padrão não inclui as extensões CUDA.

O que se sabe sobre FusedAdam, FusedLayerNorm e torch.amp?

Três ferramentas respondem pela maior parte do ganho de desempenho no treinamento de transformers: FusedAdam é o otimizador Adam reescrito em CUDA. Ele reúne em um único kernel a atualização dos pesos, o cálculo do primeiro e do segundo momento, o clipping por norma e o weight decay. Faz bem menos acessos à memória da GPU que a implementação padrão.

O que se sabe sobre Benchmark passo a passo?

Para isolar a contribuição de cada componente, as otimizações são ativadas por etapas, registrando o tempo por iteração e o pico de uso de memória de vídeo a cada passo: Adam básico + FP32: ponto de referência FusedAdam + FP32: ganho com a troca do otimizador FusedAdam + FusedLayerNorm + FP32: adiciona a normalização fundida FusedAdam + FusedLayerNorm + torch.amp (BF16): configuração completa Essa abordagem incremental evita depender do resultado agregado de uma "caixa-preta": a contribuição de…

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…