Como treinar o Gemma-3 em matemática com GRPO e adaptadores LoRA

Em 5 de julho de 2026, pesquisadores publicaram um fluxo de trabalho detalhado para ajustar o Gemma-3, do Google, no dataset de matemática GSM8K, usando o algoritmo GRPO, adaptadores LoRA e o framework Tunix.

O que é o GRPO e como ele se diferencia dos métodos clássicos

O GRPO (Group Relative Policy Optimization) é um algoritmo de aprendizado por reforço adaptado especificamente para modelos de linguagem. Ao contrário do PPO clássico, que exige um modelo crítico separado, o GRPO compara entre si várias respostas geradas dentro de um mesmo grupo e atualiza a política em favor das soluções melhores. Isso reduz o consumo de memória e torna o treinamento mais estável.

Essa abordagem é especialmente conveniente para problemas matemáticos: a resposta ou está certa ou não está, então o sinal de recompensa é calculado de forma automática e inequívoca. O GSM8K (Grade School Math 8K) é um benchmark padrão com 8.500 problemas de matemática do ensino fundamental, com solução em várias etapas. Ele exige que o modelo não apenas entregue um número, mas reproduza a cadeia de raciocínio, o que o torna um campo de testes ideal para o GRPO.

• Modelo base: Gemma-3, do Google
• Dataset: GSM8K (8.500 problemas escolares)
• Algoritmo: GRPO (Group Relative Policy Optimization)
• Framework: Tunix sobre o Hugging Face Transformers
• Ajuste: adaptadores LoRA, sem alterar os pesos principais

Como o pipeline é construído, passo a passo

O fluxo de trabalho é dividido em etapas lógicas. Primeiro, o ambiente é configurado e a autenticação no Hugging Face Hub é feita, pois é de lá que os pesos do Gemma-3 são baixados. Depois, cada exemplo do GSM8K é envolvido em um modelo de "raciocínio + resposta": desde os primeiros passos do treinamento, o modelo vê a estrutura de saída esperada e aprende a segui-la.

O elemento central são duas funções de recompensa. A primeira verifica a conformidade do formato: se a resposta contém um bloco de raciocínio e um resultado numérico. A segunda avalia a precisão numérica, ou seja, se o número final coincide com a resposta de referência do dataset. O GRPO otimiza os dois sinais ao mesmo tempo, gerando um grupo de variantes e selecionando as melhores.

Para não retreinar o modelo inteiro, adaptadores LoRA são conectados ao Gemma-3: matrizes compactas de baixo posto, treinadas no lugar dos pesos principais "congelados". Com isso, o número de parâmetros treináveis cai drasticamente e os requisitos de memória de vídeo diminuem a ponto de tornar o fluxo viável em hardware de consumo.

Depois do treinamento, os autores sugerem medir a precisão com os adaptadores e compará-la com o checkpoint base. Opcionalmente, é possível mesclar os adaptadores aos pesos principais e exportar o modelo final para deploy.

Por que isso importa para desenvolvedores

"Os adaptadores

LoRA tornam todo o processo viável sem um data center", diz a descrição do fluxo de trabalho.

Alguns anos atrás, o ajuste fino de modelos grandes exigia dezenas de gigabytes de memória de vídeo e acesso a clusters profissionais. A combinação de GRPO com LoRA muda isso: o algoritmo já gasta menos memória que o PPO clássico, e o LoRA reduz ainda mais o número de parâmetros treináveis, de 10 a 100 vezes, dependendo do posto do adaptador.

Na prática: um desenvolvedor com uma única placa de vídeo moderna pode pegar um modelo aberto como o Gemma-3, especializá-lo em um domínio específico, como matemática, direito ou medicina, e obter um modelo especializado com melhora mensurável no benchmark-alvo. O Tunix funciona como uma camada conveniente que automatiza a configuração do GRPO e o gerenciamento dos adaptadores; a mesma abordagem se aplica a qualquer dataset com respostas verificáveis.

O que isso significa

O ajuste com GRPO e LoRA em datasets de domínio está saindo dos artigos acadêmicos e chegando aos guias práticos. Os autores mostraram o ciclo completo, do download à exportação, em um modelo real e um benchmark público, reduzindo a barreira de entrada para desenvolvedores que querem melhorar um modelo aberto para uma tarefa específica sem infraestrutura cara.