Prefix-GRPO: método que treina modelos de linguagem pequenos como agentes a partir de prefixos de trajetórias

Pesquisadores propuseram o Prefix-GRPO, um método de aprendizado por reforço publicado no arXiv (cs.LG) em julho de 2026. Ele ajuda modelos de linguagem pequenos que atuam como agentes a aprender com as trajetórias de um modelo-professor forte, sem reduzi-las a uma imitação pontual. Em três ambientes — TextCraft, BabyAI e ALFWorld — o método supera tanto a destilação clássica quanto o RL padrão.

Por que a destilação trava em tarefas longas

A destilação direta reduz o comportamento rico e de vários passos do professor a alvos de imitação de um único passo, o que é ineficiente quando decisões iniciais determinam os estados e as recompensas futuras. Modelos pequenos são atraentes como base para agentes interativos: são baratos e rápidos. Mas, quando o agente precisa percorrer uma longa cadeia de ações (coletar um item, chegar a um destino, cumprir uma instrução), o treinamento do tipo "repita a resposta do professor" perde a estrutura de causa e efeito: o modelo decora as falas finais, mas não entende como o professor chegou ao estado desejado.

Como funciona o Prefix-GRPO

O Prefix-GRPO divide cada trajetória do professor em dois componentes: replay-aligned prefix queries (prefixos para reprodução) e online continuations (continuações online). Cada prefixo é reproduzido novamente no ambiente para restaurar um estado intermediário válido. Depois disso, o aluno continua a interação por conta própria e recebe a recompensa pela tarefa.

A principal diferença em relação ao GRPO response-only é que o método aplica atualizações de política com clipping (clipped) também aos tokens históricos do assistente dentro do prefixo reproduzido. As log-probabilidades antigas desses tokens são estimadas por um checkpoint de SFT separado, obtido por destilação de política. Com isso, o aprendizado do prefixo e o aprendizado da continuação se unem em uma única forma de otimização de política.

• Método: Prefix-GRPO, aprendizado por reforço sobre o GRPO
• Ideia: trajetória do professor = prefixo para replay + continuação online
• Diferença: atualizações com clipping também para os tokens do assistente dentro do prefixo
• Estimativa das log-probabilidades antigas: por meio de um checkpoint de SFT obtido por destilação de política (policy-distilled)
• Ambientes de teste: TextCraft, BabyAI, ALFWorld (3 benchmarks)

O que os experimentos mostraram

Nos três ambientes, o Prefix-GRPO melhorou os agentes baseados em modelos pequenos em comparação tanto com a destilação quanto com os baselines padrão de RL. Uma série separada de experimentos de ablação verificou o que de fato gera o ganho: a reprodução dos prefixos sozinha se mostrou insuficiente sem a otimização explícita dos tokens dentro deles.

A reprodução dos prefixos, por si só, não basta sem a otimização

explícita dos tokens dentro do prefixo.

— formulação extraída do resumo do estudo no arXiv. Em outras palavras, restaurar o estado intermediário do ambiente não é suficiente: é preciso também atualizar a política sobre os tokens históricos, caso contrário o método não entrega o efeito completo. A implementação e os scripts para reproduzir os resultados, segundo os autores, estão disponíveis em código aberto no GitHub.

O que isso significa

O Prefix-GRPO é uma tentativa de transferir parte da "inteligência" de grandes modelos-professores para modelos compactos sem perder a lógica de comportamento em vários passos. Se a abordagem escalar para além de ambientes de jogo, agentes locais baratos poderão resolver tarefas longas de forma bem melhor do que com a destilação convencional.

Perguntas frequentes

O que é o Prefix-GRPO?

É um framework de aprendizado por reforço para modelos de linguagem pequenos que atuam como agentes. Ele divide as trajetórias do modelo-professor em prefixos, reproduz esses prefixos no ambiente para restaurar o estado intermediário e continua o treinamento do aluno em interação online, com recompensa pela tarefa.

Em que o Prefix-GRPO difere do GRPO comum?

Ao contrário do GRPO response-only, que atualiza a política apenas sobre as respostas novas, o Prefix-GRPO aplica atualizações com clipping também aos tokens históricos do assistente dentro do prefixo reproduzido, estimando suas log-probabilidades antigas por meio de um checkpoint de SFT policy-distilled separado.

Onde o método foi testado?

Os autores avaliaram o Prefix-GRPO em três ambientes para agentes — TextCraft, BabyAI e ALFWorld — nos quais ele superou a destilação e os baselines padrão de RL. O código e os scripts de reprodução estão disponíveis no GitHub.