Universidade de Twente reduz em 14% o consumo de energia no treinamento de LLMs

Pesquisadores da Universidade de Twente, nos Países Baixos, desenvolveram um método que permite economizar até 14% da energia no treinamento de grandes modelos de linguagem, sem perder velocidade de treinamento. A técnica se baseia no controle dinâmico da frequência de clock da GPU e é aplicada pela primeira vez em um nível de detalhe tão fino.

Como funciona o DVFS

O DVFS (dynamic voltage-frequency scaling) é uma técnica conhecida que altera a frequência de clock da GPU de acordo com a carga de computação do momento. Cada operação no chip é disparada por um pulso de clock, e a frequência desses pulsos determina tanto a velocidade da GPU quanto o seu consumo de energia.

As GPUs modernas têm dois sistemas de clock independentes: um para o núcleo de computação e outro para o bloco de memória. Quando o núcleo calcula de forma intensa, o clock dele opera em alta frequência, e o da memória pode ser reduzido. Quando o núcleo espera dados da memória, ocorre o inverso: o núcleo pode desacelerar e a memória acelerar. Esse equilíbrio reduz o consumo total de energia sem perder desempenho.

Por que os métodos anteriores não funcionaram

O DVFS existe desde a década de 1990, mas aplicá-lo ao treinamento de LLMs se mostrou mais difícil do que parecia. As tentativas anteriores ou desaceleravam demais a computação ou eram pouco flexíveis. O principal problema: a maioria dos métodos ajustava a frequência apenas no nível de iterações inteiras de treinamento (forward pass e backpropagation), o que era grosseiro demais para uma otimização eficaz.

Inovação no nível dos kernels

A equipe de Jeffrey Spaan decidiu alterar a frequência num nível muito mais fino: o dos kernels individuais (blocos elementares de computação). O processamento em GPU é dividido em operações minúsculas; por exemplo, uma multiplicação de vetores corresponde a um kernel. O treinamento de uma única camada de rede neural dispara cerca de 40 desses kernels. Ao ajustar a frequência de cada kernel separadamente, a equipe conseguiu uma economia de energia muito maior:

• Ajuste no nível de blocos de computação individuais, em vez de iterações inteiras
• Prever o próximo kernel permite definir a frequência adequada com antecedência
• Economia média de energia de 14%, com desaceleração de apenas 0,6%
• O DVFS automático da GPU funciona pior porque não consegue antecipar os próximos passos

Resultados e limitações

O experimento foi feito com o modelo GPT-3-XL (1,3 bilhão de parâmetros) em uma GPU Nvidia RTX 3080 Ti. Resultado: 14% de economia de energia, com desaceleração de apenas 0,6%.

"Otimizamos a economia de energia sem perder desempenho.

No mundo real, desempenho é o santo graal", diz Jeffrey Spaan.

Há uma limitação: a troca de frequências leva tempo, embora menos do que desligar e religar o núcleo por completo. Os cálculos dos pesquisadores não consideraram isso, portanto os 14% representam o melhor cenário. GPUs mais novas, como a Nvidia Blackwell, trocam de frequência bem mais rápido e poderão aproveitar melhor essa economia.

O que isso significa

Se o método de Spaan for adotado pela indústria, bilhões de watts-hora de energia poderão ser economizados no treinamento de modelos de fronteira. Isso reduziria a pegada de carbono da indústria de IA e seus custos operacionais, sem exigir investimento em hardware novo.