Pesquisadores de Michigan e NVIDIA vão integrar ao Megatron-LM método que economiza até 50% de energia

Cerca de metade da energia gasta no treinamento de IA pode ser economizada sem perda de velocidade nem de qualidade do modelo. Essa é a conclusão de engenheiros da Universidade de Michigan, que criaram para isso um conjunto de ferramentas de software coordenadas. Agora eles trabalham com a NVIDIA para integrar a abordagem ao Megatron-LM, plataforma aberta da empresa para treinar grandes modelos.

Onde a energia se perde

O treinamento de um modelo grande parece um trabalho contínuo de milhares de GPUs no limite. Na prática, parte desse trabalho é desnecessária. Os aceleradores esperam uns pelos outros, os dados chegam com atraso e parte dos cálculos está fora do caminho crítico e poderia rodar mais devagar sem afetar o tempo total. Se, ainda assim, todas as placas consomem energia no máximo, a conta de luz cresce à toa.

A comunicação original não revela detalhes técnicos, mas o resultado declarado é claro: com a coordenação certa, cerca de metade da energia gasta no treinamento se mostra excedente. Antes, o mesmo grupo de pesquisa já havia publicado trabalhos sobre a redução do "inchaço energético" no treinamento de grandes modelos. Na ocasião, os números eram menores, em torno de 30%. Os até 50% agora declarados indicam um conjunto de ferramentas mais amplo, mas a fonte não descreve diretamente a relação entre esses projetos.

Por que a integração ao Megatron-LM importa

Código de pesquisa raramente chega a clusters reais. Para isso, ele precisa se encaixar em uma stack que as pessoas já usam. O Megatron-LM é exatamente esse tipo de stack: pipelines de treinamento de modelos com dezenas e centenas de bilhões de parâmetros são construídos sobre ele e seus componentes. Se o método virar parte da plataforma, não será preciso levá-lo a cada equipe separadamente; bastará ativar uma opção ou atualizar a versão.

Para a NVIDIA, há um interesse direto aqui. Energia e refrigeração já são há tempos um limite para novos data centers, e a potência disponível no local muitas vezes define o tamanho do cluster melhor do que o orçamento de hardware. Um software que entrega a mesma velocidade de treinamento com metade do consumo, na mesma potência, na prática amplia a capacidade da infraestrutura já construída.

O que se sabe até agora

• Economia de energia declarada no treinamento: até 50%.
• Velocidade e qualidade do treinamento, segundo os autores, não são prejudicadas.
• Desenvolvedor: Universidade de Michigan, faculdade de engenharia.
• Parceira: NVIDIA.
• Plataforma de destino: Megatron-LM, de código aberto.
• Status: integração em andamento, sem prazos na comunicação.

Vale considerar também o que a comunicação não traz. Não foram informados os tamanhos dos modelos em que a economia foi medida, o tipo e o número de GPUs, nem a metodologia de medição: se contou apenas a energia dos aceleradores ou a do sistema inteiro. Disso depende o quanto o número é reproduzível em outro cluster. A expressão "até 50%" indica um limite superior, não um resultado típico.

O que fazer se sua equipe treina modelos

Enquanto a integração não é concluída, faz sentido preparar desde já uma base de comparação. Se você treina modelos no Megatron-LM, comece a medir o consumo de energia no nível da GPU, junto com o tempo por passo e a taxa de processamento. Sem esses dados, não será possível verificar a economia declarada nem avaliar quanto você realmente conseguiu.

Acompanhe os lançamentos do Megatron-LM e os repositórios do grupo de pesquisa: é ali que vão aparecer tanto o código quanto as condições de aplicação do método. Para quem planeja novas instalações, é um motivo para recalcular o modelo de custos. Se o efeito se confirmar em cargas reais, a necessidade de potência para treinamento pode ficar bem abaixo da estimada, e isso mudaria tanto os parâmetros de alimentação elétrica quanto os contratos com fornecedores de energia.