ProAS acelera treinamento de agentes LLM em 2,44x e leva o ALFWorld a 94,3%

A equipe do LINs-lab publicou o ProAS, Progress-Aware Advantage Shaping: um complemento plugável para o treinamento de agentes LLM com aprendizado por reforço. O método dispensa um modelo crítico separado e eleva os resultados dos algoritmos base de grupo a um novo patamar. No Qwen2.5-7B-Instruct, o agente resolve 94,3% das tarefas no ALFWorld e 70,8% no WebShop, enquanto a versão de 1,5 bilhão de parâmetros atinge 91,9% e 66,7%. O treinamento também converge até 2,44 vezes mais rápido.

O problema: uma única avaliação para toda a trajetória

O RL se tornou a principal forma de ajustar agentes LLM. Os algoritmos sem crítico mais populares, entre eles o GRPO, são baratos porque não precisam manter uma segunda rede grande para avaliar estados. O preço dessa economia é que a vantagem (advantage) é calculada no nível de toda a trajetória e distribuída igualmente entre todas as ações que a compõem.

Os autores do ProAS mostram a que isso leva em tarefas de múltiplos passos, em que o agente realiza dezenas de ações.

• Em uma trajetória bem-sucedida, tudo é recompensado, inclusive passos estruturalmente sem sentido: transições desnecessárias, verificações repetidas, loops. O modelo reforça esses passos como "corretos" só porque o resultado final foi bem-sucedido.
• Em uma trajetória malsucedida, todas as ações são punidas com a mesma intensidade, mesmo que alguns passos tenham quase alcançado o objetivo e outros tenham afastado muito o agente dele. O sinal não distingue um erro no segundo passo de uma falha no último.

Em cenários agentivos longos, isso retarda o treinamento e derruba o sucesso final.

Como o ProAS redistribui a recompensa

Em vez de um crítico, o método usa um Agentic Reference Graph (ARG), um grafo de referência que evolui dinamicamente. Ele permite avaliar o progresso de cada ação em relação à tarefa. Sobre essa avaliação, são construídos dois mecanismos:

• Masking Unreasonable Incentives (MUI) mascara o sinal positivo de ações que não fazem sentido, mesmo que pertençam a uma trajetória "boa".
• Asymmetric Penalty Redistribution (APR) redistribui a penalidade em trajetórias ruins de acordo com o quanto o caminho restante se desvia do correto. Passos que afastam mais o agente do objetivo recebem uma penalidade maior.

Trata-se de um esquema plug-and-play: ele calibra o cálculo da vantagem dentro de algoritmos de grupo já existentes, sem alterar o restante do pipeline de treinamento.

Números e robustez

Os experimentos foram feitos com dois modelos da família Qwen2.5-Instruct, nos benchmarks ALFWorld e WebShop:

• Qwen2.5-1.5B-Instruct: 91,9% de sucesso no ALFWorld, 66,7% no WebShop.
• Qwen2.5-7B-Instruct: 94,3% no ALFWorld, 70,8% no WebShop.
• Aceleração da convergência do treinamento: até 2,44 vezes.
• Os resultados foram obtidos sobre vários métodos base de grupo comuns, e os autores afirmam que o ProAS eleva todos eles a um novo estado da arte.

Também foi testada separadamente a robustez em relação à qualidade do grafo de referência. O método mantém sua eficácia tanto com ARGs imperfeitos quanto destilados. Isso é importante porque obter um grafo perfeito para tarefas agentivas reais é difícil, e funcionar bem com versões aproximadas reduz a barreira de entrada.

Quem se beneficia disso na prática

Equipes que treinam agentes com esquemas do tipo GRPO costumam esbarrar no custo computacional e na instabilidade do sinal em trajetórias longas. O ProAS ataca os dois problemas: não adiciona um crítico, e uma aceleração de até 2,44 vezes significa menos horas de GPU para o mesmo resultado. O método serve para quem constrói agentes de navegação em ambientes, cenários web e automação de múltiplos passos.

O código está publicado no repositório LINs-lab/ProAS no GitHub, então a hipótese pode ser testada em tarefas próprias. Uma ressalva: os números foram obtidos em dois benchmarks e em modelos de até 7 bilhões de parâmetros. Como o método vai se comportar em modelos maiores e em ambientes menos estruturados ainda será mostrado por reproduções independentes. Mas a ideia de avaliar a contribuição de cada passo sem um crítico parece um caminho viável para tornar o RL agentivo mais barato e preciso.