ProAS acelera o treinamento de agentes LLM em 2,44 vezes e leva o ALFWorld a 94,3%

A equipe do LINs-lab publicou o ProAS (Progress-Aware Advantage Shaping), uma camada plug-and-play para treinar agentes LLM com aprendizado por reforço. O método dispensa um modelo critic separado e leva os resultados dos algoritmos-base em grupo a um novo patamar. No Qwen2.5-7B-Instruct, o agente resolve 94,3% das tarefas no ALFWorld e 70,8% no WebShop, enquanto a versão de 1,5 bilhão de parâmetros chega a 91,9% e 66,7%. O treinamento, além disso, converge até 2,44 vezes mais rápido.

O problema: uma única avaliação para a trajetória inteira

O RL se tornou a principal forma de refinar agentes LLM. Os algoritmos sem critic mais populares, como o GRPO, são baratos porque não mantêm uma segunda rede grande para avaliar estados. O custo dessa economia é que a vantagem (advantage) é calculada no nível da trajetória inteira e distribuída igualmente entre todas as ações nela.

Os autores do ProAS mostram no que isso resulta em tarefas de múltiplos passos, nas quais o agente executa dezenas de ações.

• Em uma trajetória bem-sucedida, tudo é recompensado indiscriminadamente, inclusive passos estruturalmente sem sentido: transições desnecessárias, verificações repetidas, loops. O modelo os fixa como "corretos" só porque o resultado final foi um sucesso.
• Em uma trajetória malsucedida, todas as ações são punidas com a mesma intensidade, embora algumas tenham quase levado ao objetivo e outras tenham afastado muito o agente dele. O sinal não distingue um erro no segundo passo de uma falha no último.

Em cenários agênticos longos, isso desacelera o treinamento e puxa para baixo o sucesso final.

Como o ProAS redistribui a recompensa

No lugar do critic, o método usa o Agentic Reference Graph (ARG), um grafo de referência que evolui dinamicamente. Ele permite avaliar o progresso de cada ação em relação à tarefa. Dois mecanismos são construídos sobre essa avaliação:

• Masking Unreasonable Incentives (MUI) mascara o sinal positivo de ações sem sentido, mesmo que estejam em uma trajetória "boa".
• Asymmetric Penalty Redistribution (APR) redistribui a penalidade nas trajetórias ruins conforme o quanto o caminho restante se desvia do desejado. Os passos que mais afastam o agente do objetivo recebem mais penalidade.

É um esquema plug-and-play: ele calibra o cálculo da vantagem em algoritmos de grupo já existentes e não altera o restante do pipeline de treinamento.

Números e robustez

Os experimentos foram feitos em dois modelos da família Qwen2.5-Instruct, nos benchmarks ALFWorld e WebShop:

• Qwen2.5-1.5B-Instruct: 91,9% de sucesso no ALFWorld, 66,7% no WebShop.
• Qwen2.5-7B-Instruct: 94,3% no ALFWorld, 70,8% no WebShop.
• Aceleração da convergência do treinamento: até 2,44 vezes.
• Os resultados foram obtidos sobre vários métodos-base em grupo bastante usados, e os autores afirmam que o ProAS leva todos eles a um novo state-of-the-art.

A robustez à qualidade do grafo de referência foi testada separadamente. O método mantém a eficácia tanto com ARGs imperfeitos quanto com ARGs destilados. Isso é importante porque um grafo ideal é difícil de obter em tarefas agênticas reais, e o bom funcionamento com versões aproximadas reduz a barreira de entrada.

Para quem isso é útil na prática

Equipes que treinam agentes com esquemas do tipo GRPO costumam esbarrar no custo computacional e na instabilidade do sinal em trajetórias longas. O ProAS ataca os dois problemas: não adiciona um critic, e a aceleração de até 2,44 vezes significa menos horas de GPU para o mesmo resultado. O método serve a quem constrói agentes para navegação em ambientes, cenários web e automação de múltiplos passos.

O código está publicado no repositório LINs-lab/ProAS, no GitHub, então é possível testar a hipótese em tarefas próprias. Há uma ressalva: os números vêm de dois benchmarks e de modelos de até 7 bilhões de parâmetros. Como o método se comportará em modelos maiores e em ambientes menos estruturados só reproduções independentes dirão. Ainda assim, a ideia de avaliar a contribuição de cada passo sem critic parece uma forma viável de tornar o RL agêntico mais barato e mais preciso.