NVIDIA detalha paralelismo tensorial não uniforme para treinar LLMs em GPUs

A NVIDIA publicou em seu Developer Blog corporativo um artigo sobre a técnica de paralelismo tensorial não uniforme (nonuniform tensor parallelism). A abordagem busca aumentar o goodput, isto é, a fração de trabalho computacional útil, no treinamento de grandes modelos de linguagem em clusters com milhares de GPUs.

O que é goodput no treinamento de LLMs

O treinamento dos grandes modelos de linguagem atuais roda cada vez mais em clusters com milhares de GPUs e se estende por semanas, às vezes meses, de operação contínua. Com execuções tão longas, o custo das falhas dispara. A queda de um nó, o travamento de uma GPU "retardatária" ou a necessidade de reiniciar a partir de um checkpoint consomem parte do tempo total de computação.

O goodput é a métrica que mede a fração de trabalho efetivamente útil e produtivo, já descontadas essas perdas, e não apenas a utilização total das GPUs. Entre as causas típicas de queda no goodput estão congestionamentos de rede entre nós, carga desigual entre GPUs e o tempo gasto para salvar e restaurar checkpoints intermediários após uma falha.

• O artigo foi publicado no NVIDIA Developer Blog e trata especificamente do aumento do goodput no treinamento de LLMs
• O foco é a infraestrutura projetada para jobs que ocupam milhares de GPUs simultaneamente
• Essas execuções de treinamento podem durar longos períodos sem interrupção
• O método proposto se chama nonuniform tensor parallelism, ou "paralelismo tensorial não uniforme"

Como funciona o paralelismo tensorial não uniforme

O paralelismo tensorial é uma das formas básicas de treinamento distribuído. Operações matriciais dentro das camadas do modelo são divididas em partes e calculadas ao mesmo tempo em GPUs diferentes, o que permite treinar modelos que fisicamente não cabem na memória de uma única placa de vídeo. A abordagem clássica aplica o mesmo grau de divisão a todas as camadas do modelo, sem distinção.

Já a variante não uniforme descrita pela NVIDIA escolhe o grau de paralelismo individualmente para cada parte do modelo, considerando sua carga computacional e o volume de dados que precisa ser trocado entre as GPUs. A meta é reduzir a ociosidade e o overhead de comunicação entre os dispositivos, elevando o goodput final sem a compra de hardware adicional. Técnicas desse tipo costumam ser implementadas em conjunto com bibliotecas de treinamento distribuído como o Megatron-LM e a plataforma NeMo, que a NVIDIA desenvolve especificamente para treinar grandes modelos em suas GPUs.

O paralelismo tensorial não é a única forma de distribuir o treinamento entre GPUs. Ao lado dele, há o paralelismo de pipeline, em que diferentes camadas do modelo ficam atribuídas a GPUs distintas e são processadas em esteira, e o paralelismo de dados, em que cada GPU guarda uma cópia completa do modelo e os exemplos de treinamento é que são divididos entre os dispositivos. Na prática, grandes clusters de treinamento combinam as três abordagens ao mesmo tempo, e o quão bem essa combinação se ajusta à arquitetura de cada modelo determina diretamente o goodput final.

Por que isso importa para a infraestrutura de IA

Mesmo um pequeno ganho percentual de eficiência gera uma economia relevante quando se fala em milhares de GPUs e semanas de treinamento contínuo. Treinar um modelo realmente grande exige poder computacional que custa dezenas ou centenas de milhões de dólares, então até 1% a mais de goodput se traduz em economia significativa de tempo, energia e dinheiro. Como maior fornecedora de aceleradores para IA, a NVIDIA publica com frequência análises de engenharia como esta para que seus clientes, empresas que treinam os próprios LLMs na infraestrutura da NVIDIA, consigam extrair mais eficiência dos clusters que já possuem, sem ampliar o parque de hardware.

O que isso significa

À medida que a escala do treinamento de grandes modelos de linguagem cresce, o fator decisivo passa a ser não só a quantidade e a potência dos chips, mas também a engenharia de software de sistemas, ou seja, a eficiência com que a infraestrutura distribuída aproveita as GPUs já compradas.