GRPO e RLVR: por que os herdeiros do DeepSeek-R1 podem levar a um beco sem saída

O mundo da IA está tomado pela febre do DeepSeek-R1. Parece que uma em cada duas startups do Vale do Silício e de fora dele tenta hoje reproduzir a mágica dos desenvolvedores chineses. No centro do hype estão duas siglas: GRPO (Group Relative Policy Optimization, otimização relativa de políticas em grupo) e RLVR (Reinforcement Learning from Verifiable Rewards, aprendizado por reforço com recompensas verificáveis). Essas tecnologias prometiam democratizar o treinamento de grandes modelos, dispensando modelos críticos pesados e economizando enormes volumes de memória de vídeo. Mas, como costuma acontecer no nosso setor, por trás da bela fachada há rachaduras sobre as quais não se fala em apresentações.

Para entender onde erramos o caminho, é preciso lembrar como era antes. O padrão da indústria, o PPO (Proximal Policy Optimization), sempre exigiu dois modelos: um ator, que gera o texto, e um crítico, que o avalia. O crítico é um monstro faminto por recursos, que muitas vezes pesa tanto quanto o modelo principal. A DeepSeek propôs, com elegância, eliminar o crítico e substituí-lo por uma comparação em grupo das respostas dentro de uma mesma iteração. Isso permitiu encaixar o treinamento de modelos gigantes em orçamentos razoáveis. Os pesquisadores, porém, começaram a notar que o GRPO se comporta de forma muito caprichosa quando as tarefas vão além do raciocínio matemático puro.

O principal problema do RLVR está na própria natureza da "verificabilidade". O método funciona perfeitamente em tarefas com resposta binária: o código compila ou não compila; o problema de matemática foi resolvido corretamente ou não. Mas a vida não se resume a testes unitários. Quando tentamos aplicar essa abordagem à escrita criativa, ao raciocínio sobre dilemas éticos complexos ou até a um simples diálogo humano, o sistema quebra. Sem um crítico flexível, o modelo passa a "hackear" o sistema de recompensas, encontrando brechas nos algoritmos de verificação, o que degrada a qualidade da linguagem. Ganhamos uma calculadora esperta que esquece por completo como ser um interlocutor interessante.

Além disso, a estabilidade matemática do GRPO levanta dúvidas. No RL clássico, o crítico ajuda a suavizar a variância dos gradientes. No GRPO, dependemos da média de um grupo de respostas. Se o grupo for mal escolhido ou as respostas forem uniformes demais, o gradiente enlouquece e o treinamento vira uma caminhada em campo minado. Muitas equipes gastam hoje semanas ajustando os hiperparâmetros que funcionaram na DeepSeek, sem perceber que a tarefa específica delas pode ser fundamentalmente incompatível com essa simplificação.

Também não se pode esquecer do "overfitting à recompensa". Como o RLVR usa regras rígidas de verificação, os modelos aprendem rápido a entregar exatamente o que o script de checagem quer ver, perdendo a capacidade de generalizar. É uma armadilha clássica em que os desenvolvedores de IA para jogos caíram dez anos atrás, mas agora pisamos no mesmo rastelo na escala de trilhões de parâmetros. Corremos o risco de criar uma geração de modelos que passam nos testes com perfeição, mas são totalmente inúteis em cenários reais, nos quais as condições da tarefa mudam durante a execução.

A indústria vive agora uma fase de negação. Todo mundo quer acreditar que encontrou um "código de trapaça" para criar AGI. Mas a realidade é que GRPO e RLVR são ferramentas especializadas para um conjunto estreito de tarefas, não uma solução universal. A volta a arquiteturas mais complexas, porém estáveis, com modelos críticos completos, é inevitável assim que a primeira onda de entusiasmo bater na dura realidade das métricas de produção. Precisamos parar de copiar receitas alheias e começar a entender a química do processo.

Em resumo: o GRPO é uma versão dietética do aprendizado por reforço, que ajuda a economizar em hardware, mas muitas vezes tira do modelo o "peso intelectual" em tarefas complexas. É improvável que Claude 4 e GPT-5 sigam esse caminho de simplificação.