Lean4AgenticRL: recompensas de processo em múltiplos níveis levam o LAR-27B a 77,3%

Tarefas longas de engenharia de software — seja desenvolvimento, depuração ou automação em terminal — exigem que os agentes aprendam em dois níveis: o resultado final e as ações intermediárias. No entanto, as recompensas tradicionais baseadas apenas no resultado oferecem informação limitada sobre quais etapas específicas foram realmente úteis, o que dificulta um aprendizado por reforço eficiente. Pesquisadores da Amazon apresentaram o Lean4AgenticRL, o primeiro framework a ancorar recompensas de processo em múltiplos níveis em um único esquema de formalização Lean4 para o treinamento aberto de agentes. Com base nele, foram treinados os modelos LAR-9B e LAR-27B, que superam modelos equivalentes e atingem 77,3% no TerminalBench-2.1.

Três níveis de anotação em vez de apenas um

As abordagens existentes se apoiam principalmente em recompensas de alto nível focadas no resultado final, praticamente ignorando informações sobre o comportamento de baixo nível nas chamadas de ferramentas e o progresso de nível intermediário nas etapas do workflow. O Lean4AgenticRL resolve esse problema adicionando três níveis de recompensa interligados:

• Recompensa por resultado (outcome reward) — avalia o sucesso do resultado final da tarefa • Recompensa por etapa do workflow (workflow-stage reward) — avalia o progresso em cada etapa de execução do plano • Recompensa por comportamento de ferramentas (tool-call reward) — avalia a correção das chamadas a ferramentas e funções externas

A formalização via Lean4 como base da verificação

O framework começa construindo um workflow específico para cada problema — um plano de solução que equilibra as capacidades do próprio agente com a controlabilidade de sua execução. Em seguida, esse workflow é formalizado em um esquema unificado de Lean4, e os três níveis são anotados dentro do mesmo sistema. Essa formalização permite verificar o comportamento do agente em um sistema comum, garantindo a consistência lógica de suas ações.

O treinamento usa uma versão modificada do algoritmo GRPO com normalização por etapas (workflow-stage-normalized GRPO). Em vez de processar cada passo de forma independente, o algoritmo distribui o crédito entre etapas comparáveis de diferentes tentativas de execução. Isso melhora significativamente a eficiência do treinamento, já que o agente recebe informações mais precisas sobre quais fases e ações da solução realmente contribuem para o sucesso.

LAR-9B e LAR-27B: resultados nos benchmarks

Usando o Lean4AgenticRL, os pesquisadores treinaram duas famílias de modelos:

• LAR-9B (modelo com 9 bilhões de parâmetros) • LAR-27B (modelo com 27 bilhões de parâmetros)

Os resultados dos testes são impressionantes:

• O LAR-27B atingiu 77,3% no TerminalBench-2.1 • O LAR-27B atingiu 84,2% no SWE-Bench-Verified • Ambos os modelos da família LAR superam o modelo base em uma média de 9,89% • O LAR-27B supera o melhor equivalente conhecido de tamanho semelhante em 5,07%

Esses resultados demonstram o potencial de integrar métodos formais ao aprendizado por reforço aberto para agentes. O Lean4AgenticRL mostra que uma anotação mais detalhada do processo, aliada à verificação formal, pode melhorar significativamente o desempenho dos agentes em tarefas complexas de engenharia.