Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarHabr AI→ original

Oito GPUs reduziram o treinamento de 32 para 5 dias, mas o custo em GPU-horas subiu 25%

Se um modelo leva 32 dias para treinar em uma única placa de vídeo (GPU), parece lógico usar oito e terminar em 4 dias. Na prática, o treino levou 5 dias: as placas gastam tempo trocando gradientes e esperando umas pelas outras, então a eficiência de escalonamento é de 80%, e não de 100%. Ao mesmo tempo, o consumo subiu de 768 para 960 GPU-horas, ou seja, 25%: ficou mais rápido, porém mais caro. Por isso, antes de comprar mais placas, faça o profiling do treinamento e compare o ganho de velocidade com o aumento da conta.

Processado por IA de Habr AI; editado por Hamidun News
Oito GPUs reduziram o treinamento de 32 para 5 dias, mas o custo em GPU-horas subiu 25%
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1DDP, FSDP, Tensor Parallelism e Pipeline Parallelism: quatro esquemas com custos diferentes
Dado-chave #2PyTorch Profiler e nvidia-smi topo -m mostram atrasos e conexões entre as GPUs
Dado-chave #3O treinamento terminou 27 dias antes, mas custa 192 GPU-horas a mais

Imagine que seu modelo leva 32 dias para treinar em uma única placa de vídeo (GPU). Você conecta oito placas, no modo Multi-GPU, esperando terminar em 4 dias, mas o treino leva 5. As placas gastam tempo trocando gradientes (os ajustes pelos quais o modelo aprende), transferindo dados e esperando as vizinhas mais lentas. Por isso, o ganho de velocidade é de 6,4 vezes, e não de 8, o que dá uma eficiência de escalonamento de 80%. Já as GPU-horas cobradas passaram de 768 para 960: alta de 25%. O treinamento terminou 27 dias antes, mas ficou mais caro. A seguir, veja de onde vêm essas perdas e como decidir se você precisa de mais placas.

Por que oito placas não entregam uma velocidade oito vezes maior

Quem treina modelos cedo ou tarde esbarra em um de dois problemas: o treinamento demora demais ou o modelo deixa de caber na memória de vídeo. A reação natural é adicionar placas. Mas o Multi-GPU não é aceleração de graça: cada nova placa traz custos adicionais, e você paga por eles com tempo e dinheiro.

Vamos aos números do exemplo hipotético da fonte. Ganho de velocidade (Speedup): 32 / 5 = 6,4. Eficiência de escalonamento (Scaling Efficiency): 6,4 / 8 × 100% = 80%. Agora, a parte contábil. Uma placa por 32 dias equivale a 768 GPU-horas. Oito placas por 5 dias somam 960 GPU-horas, 192 a mais. Com o mesmo preço por hora, o treinamento ficou 25% mais caro, mas terminou 27 dias antes. Se o prazo pesa mais que o orçamento, o negócio compensa; se não, as horas extras viram desperdício.

Quatro abordagens e o ponto fraco de cada uma

Data Parallelism (PyTorch DDP). Cada GPU guarda uma cópia completa do modelo e processa sua própria fatia do batch. No backward pass, os processos sincronizam os gradientes pela operação All-Reduce. O DDP consegue sobrepor a comunicação aos cálculos, mas, com batches pequenos, a comunicação leva tanto tempo quanto o próprio cálculo, e o ganho se dilui.

Tensor Parallelism. Os parâmetros e os cálculos de cada camada são divididos entre as placas, que trocam resultados intermediários o tempo todo. Por isso, o desempenho depende muito dos canais de comunicação: PCIe, NVLink e topologias com NVSwitch.

Pipeline Parallelism. As camadas do modelo são distribuídas entre os aceleradores, e os microbatches passam por elas em sequência. Quando o pipeline enche e esvazia, parte das placas fica ociosa. Esses intervalos são chamados de pipeline bubbles, as "bolhas" do pipeline.

FSDP. Parâmetros, gradientes e estados do otimizador são distribuídos entre as placas. Com sharding completo, isso economiza memória de vídeo (VRAM), mas exige operações adicionais de All-Gather e Reduce-Scatter.

Regra geral: o DDP serve quando o modelo cabe em uma placa e basta acelerá-lo. FSDP, Tensor Parallelism e Pipeline Parallelism entram em cena quando ele não cabe.

O que verificar antes de comprar ou alugar placas

Se o ganho de velocidade ficar abaixo do esperado, verifique o carregamento de dados, o tempo das comunicações NCCL (a biblioteca da NVIDIA para troca de dados entre GPUs) e o balanceamento de carga entre os processos. Se as placas ficam esperando o DataLoader, nenhum cluster resolve. O PyTorch Profiler encontra atrasos nos cálculos e nas comunicações, e o comando nvidia-smi topo -m mostra a topologia das conexões entre as GPUs.

A sequência prática é esta:

  • meça o throughput (a taxa de processamento de dados) e o tempo por passo em uma placa;
  • repita a medição com várias placas e calcule a eficiência de escalonamento;
  • compare o ganho de velocidade com o aumento das GPU-horas e do custo;
  • só depois decida se vale dar o próximo passo.

Às vezes, otimizar o DataLoader ou trocar o esquema de paralelismo rende mais do que adicionar aceleradores.

Limitações do exemplo

Os 80% de eficiência são uma ilustração, não um padrão de referência. Em tarefas reais, o número depende do tamanho do modelo, do batch, das conexões entre as placas e da qualidade do código. O material foi publicado no blog do provedor de nuvem Рег.облако como uma análise geral, sem medições próprias. Mas a lógica vale para qualquer caso: velocidade e custo crescem em ritmos diferentes, e é útil que o gestor do projeto veja os dois números, e não apenas o prazo de treinamento.

História

Perguntas frequentes sobre a notícia

Por que oito placas não entregam uma velocidade oito vezes maior?

Quem treina modelos cedo ou tarde esbarra em um de dois problemas: o treinamento demora demais ou o modelo deixa de caber na memória de vídeo. A reação natural é adicionar placas. Mas o Multi-GPU não é aceleração de graça: cada nova placa traz custos adicionais, e você paga por eles com tempo e dinheiro. Vamos aos números do exemplo hipotético da fonte. Ganho de velocidade (Speedup): 32 / 5 = 6,4. Eficiência de escalonamento (Scaling Efficiency): 6,4 / 8 × 100% = 80%. Agora, a parte contábil.

O que se sabe sobre Quatro abordagens e o ponto fraco de cada uma?

Data Parallelism (PyTorch DDP). Cada GPU guarda uma cópia completa do modelo e processa sua própria fatia do batch. No backward pass, os processos sincronizam os gradientes pela operação All-Reduce. O DDP consegue sobrepor a comunicação aos cálculos, mas, com batches pequenos, a comunicação leva tanto tempo quanto o próprio cálculo, e o ganho se dilui. Tensor Parallelism. Os parâmetros e os cálculos de cada camada são divididos entre as placas, que trocam resultados intermediários o tempo todo.

O que verificar antes de comprar ou alugar placas?

Se o ganho de velocidade ficar abaixo do esperado, verifique o carregamento de dados, o tempo das comunicações NCCL (a biblioteca da NVIDIA para troca de dados entre GPUs) e o balanceamento de carga entre os processos. Se as placas ficam esperando o DataLoader, nenhum cluster resolve. O PyTorch Profiler encontra atrasos nos cálculos e nas comunicações, e o comando nvidia-smi topo -m mostra a topologia das conexões entre as GPUs.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…