Ajuste fino do Gemma-3 em matemática usando GRPO e adaptadores LoRA

Pesquisadores publicaram em 5 de julho de 2026 um fluxo de trabalho detalhado para ajuste fino do Gemma-3 do Google no conjunto de dados matemático GSM8K usando o algoritmo GRPO, adaptadores LoRA e o framework Tunix.

O que é GRPO e como difere dos métodos clássicos

GRPO (Group Relative Policy Optimization) é um algoritmo da família de aprendizado por reforço, especialmente adaptado para modelos de linguagem. Diferentemente do PPO clássico, que requer um modelo crítico de referência separado, GRPO compara múltiplas variantes de resposta geradas dentro de um único grupo e atualiza a política em favor de soluções mais bem-sucedidas. Isso reduz o consumo de memória e torna o treinamento mais estável.

Para tarefas matemáticas, esta abordagem é particularmente conveniente: a resposta está certa ou errada — o sinal de recompensa é calculado automaticamente e inequivocamente. GSM8K (Grade School Math 8K) é um benchmark padrão com 8.500 problemas de matemática escolar que requerem raciocínio em múltiplas etapas. Requer que o modelo não apenas gere um número, mas reproduza uma cadeia de raciocínio, tornando-o um terreno de testes ideal para GRPO.

• Modelo base — Gemma-3 do Google
• Conjunto de dados — GSM8K (8.500 problemas escolares)
• Algoritmo — GRPO (Group Relative Policy Optimization)
• Framework — Tunix sobre Hugging Face Transformers
• Ajuste fino — adaptadores LoRA sem alterar pesos base

Como o pipeline é construído passo a passo

O fluxo de trabalho é dividido em estágios lógicos. Primeiro, o ambiente é configurado e a autenticação é realizada no Hugging Face Hub — é daqui que os pesos do Gemma-3 são carregados. Então cada exemplo do GSM8K é envolvido em um template "raciocínio + resposta": o modelo vê a estrutura de saída esperada desde os primeiros passos de treinamento e aprende a seguir.

O elemento central consiste em duas funções de recompensa. A primeira verifica conformidade de formato: há blocos de raciocínio e resultados numéricos na resposta? A segunda avalia precisão numérica — o número final corresponde ao benchmark? GRPO otimiza ambos os sinais simultaneamente, gerando grupos de variantes e selecionando os melhores.

Para evitar ajustar o modelo inteiro, adaptadores LoRA são conectados ao Gemma-3 — matrizes compactas de baixo posto que são treinadas em vez de pesos base "congelados". O resultado: o número de parâmetros treináveis cai drasticamente, e os requisitos de memória de vídeo diminuem tanto que o fluxo de trabalho se torna implementável em hardware de consumidor.

Após o treinamento, os autores sugerem medir a precisão com adaptadores e compará-la ao checkpoint base. Opcionalmente, mesclar adaptadores com pesos base e exportar o modelo final para implantação.

Por que isso importa para desenvolvedores

"Adaptadores

LoRA tornam todo o processo viável sem um data center", afirma a descrição do fluxo de trabalho.

Há apenas alguns anos, ajuste fino de modelos grandes exigia dezenas de gigabytes de memória de vídeo e acesso a clusters profissionais. A combinação GRPO + LoRA muda isso: o algoritmo já é mais eficiente em memória que o PPO clássico, e LoRA reduz ainda mais o número de parâmetros treináveis 10–100x dependendo do posto do adaptador.

Conseguência prática: um desenvolvedor com uma placa gráfica moderna pode pegar um modelo aberto como Gemma-3, ajustá-lo para um domínio específico — matemática, direito, medicina — e obter um modelo especializado com melhoria mensurável no benchmark alvo. Tunix serve como um wrapper conveniente que automatiza a configuração de GRPO e gerenciamento de adaptadores; uma abordagem similar é aplicável a qualquer conjunto de dados com respostas verificáveis.

O que isso significa

Ajuste fino GRPO com LoRA em conjuntos de dados de domínio está se movendo de artigos acadêmicos para guias práticos. Os autores mostraram o ciclo completo — do carregamento à exportação — em um modelo real e benchmark público, reduzindo a barreira de entrada para desenvolvedores que querem melhorar um modelo aberto para uma tarefa específica sem infraestrutura custosa.