T-Bank faz fine-tuning de LLMs com evolução, sem gradientes: 7,8 vezes mais rápido em 128 GPUs

A equipe do T-Bank mostrou que é possível fazer fine-tuning de um modelo de linguagem sem gradientes, ou seja, sem calcular a correção de cada parâmetro com base na magnitude do erro. É justamente esse cálculo que obriga as placas de vídeo do cluster a trocar dados constantemente, e a sincronização consome uma parte considerável dos recursos. O novo método ESSA usa, em vez disso, um algoritmo evolutivo. Em tarefas de matemática, ele igualou a qualidade do GRPO, que ajusta o modelo inteiro, embora configure cerca de um milhão de vezes menos parâmetros. O ganho de velocidade cresce com o tamanho do cluster: cerca de 2 vezes em 16 GPUs e até 7,8 vezes em 128.

Outro trabalho do mesmo grupo, o F-GRPO, melhora o próprio GRPO. Os dois artigos foram apresentados na EMNLP, conferência de processamento de linguagem natural de nível A*.

Como o modelo aprende sem gradientes

O fine-tuning convencional funciona assim: o modelo resolve uma tarefa, o sistema calcula o erro e obtém o gradiente, uma indicação de em que direção deslocar cada parâmetro para melhorar a resposta. Quando o treinamento roda em dezenas ou centenas de placas de vídeo, elas trocam esses gradientes a cada passo. Os cálculos são rápidos, mas a rede entre as placas costuma virar o gargalo.

O ESSA age de outra forma, com uma lógica semelhante à do melhoramento seletivo:

• parte-se do modelo original e criam-se várias versões ligeiramente diferentes; • cada versão é testada em um conjunto de tarefas, e conta-se quantas ela resolveu; • as mais bem-sucedidas se tornam a base da geração seguinte; • o ciclo se repete, passo a passo.

O que muda não é o modelo inteiro, mas apenas um pequeno conjunto de parâmetros dos adaptadores LoRA. LoRA são pequenas matrizes adicionais conectadas ao modelo principal, que permanece intocado. Por isso, o ESSA opera com um número de parâmetros cerca de um milhão de vezes menor que o do GRPO. O GRPO é um método popular de aprendizado por reforço: o modelo gera várias respostas possíveis para a tarefa, e as recompensas delas são comparadas entre si.

Por que um cluster grande favorece a evolução

Cada versão do modelo é avaliada de forma independente das demais. As placas de vídeo quase não precisam se comunicar: basta reunir os resultados dos testes no final. Assim, a rede entre as placas deixa de atrasar o treinamento.

Os pesquisadores apresentam estes números de velocidade em relação ao treinamento com GRPO:

• cerca de 2 vezes em 16 GPUs; • até 7,8 vezes em 128 GPUs.

O quadro é claro. Quanto mais placas, mais caro fica sincronizar o treinamento convencional, e mais vantagem leva o método em que quase não há sincronização. Para clusters grandes, é um argumento forte.

Ressalva: a comparação de qualidade foi feita em tarefas de matemática. A descrição não deixa claro como o ESSA se sairá em outros tipos de tarefa, como código ou diálogos longos.

F-GRPO: como não perder a diversidade de soluções

O segundo trabalho resolve outro problema do GRPO. Depois do fine-tuning, o modelo muitas vezes se acostuma com alguns caminhos corretos de solução e passa a escolher os demais com menos frequência. Para uma única tarefa, isso não é grave, mas, quando é preciso testar muitas tentativas para achar ao menos uma solução correta, a diversidade se torna importante.

O F-GRPO altera menos os parâmetros em tarefas simples, que o modelo já resolve com segurança. Com isso, não consolida um único caminho habitual e mantém diferentes formas de responder.

O resultado foi verificado no Qwen2.5-7B com a métrica pass@256, que mede a probabilidade de haver pelo menos uma resposta correta entre 256 respostas geradas. Em tarefas de matemática, o indicador subiu de 64,1% para 70,3%. O método não exige custos adicionais de treinamento.

O que isso significa para engenheiros e empresas

Enquanto o fine-tuning esbarrar na quantidade de GPUs e na velocidade da rede entre elas, as equipes têm dois caminhos: comprar mais hardware ou mudar o algoritmo. Esses trabalhos exploram o segundo caminho por dois ângulos.

• O ESSA reduz a dependência da troca de dados entre as placas e leva vantagem em clusters grandes. • O F-GRPO aumenta a chance de achar a resposta certa entre muitas tentativas, sem encarecer o treinamento. • As duas abordagens mantêm ou melhoram a qualidade sem exigir a reconstrução do modelo inteiro.

Os resultados devem ser avaliados com cautela: os números vêm de matemática, e em outras tarefas o cenário pode ser diferente. Mesmo assim, a direção é clara. É possível melhorar o fine-tuning preservando soluções diversas e adotando outra forma de atualizar o modelo, e não apenas comprando novas placas de vídeo. Fontes primárias: arXiv 2507.04453 e arXiv 2602.06717.