ProAS acelera 2,44 veces el entrenamiento de agentes LLM y lleva ALFWorld al 94,3%

El equipo de LINs-lab ha publicado ProAS (Progress-Aware Advantage Shaping), una capa plug-and-play para entrenar agentes LLM con aprendizaje por refuerzo. El método no requiere un modelo crítico independiente y eleva los resultados de los algoritmos base grupales a un nivel nuevo. Con Qwen2.5-7B-Instruct, el agente resuelve el 94,3% de las tareas de ALFWorld y el 70,8% de las de WebShop, mientras que la versión de 1.500 millones de parámetros alcanza el 91,9% y el 66,7%. Además, el entrenamiento converge hasta 2,44 veces más rápido.

El problema: una sola evaluación para toda la trayectoria

El RL se ha convertido en la vía principal para afinar agentes LLM. Los algoritmos sin crítico más populares, entre ellos GRPO, son baratos porque no mantienen una segunda red grande para evaluar estados. El precio de ese ahorro es que la ventaja (advantage) se calcula para la trayectoria completa y se reparte a partes iguales entre todas sus acciones.

Los autores de ProAS muestran qué consecuencias tiene esto en tareas de varios pasos, donde el agente ejecuta decenas de acciones.

• En una trayectoria exitosa se premia todo sin distinción, incluidos los pasos estructuralmente absurdos: transiciones innecesarias, comprobaciones repetidas, bucles. El modelo los fija como «correctos» solo porque el desenlace fue favorable.
• En una trayectoria fallida, todas las acciones se castigan con la misma intensidad, aunque unos pasos estuvieran a punto de alcanzar la meta y otros alejaran al agente de ella. La señal no distingue un error en el segundo paso de un fallo en el último.

En escenarios agénticos largos, esto frena el aprendizaje y reduce el éxito final.

Cómo redistribuye ProAS la recompensa

En lugar de un crítico, el método usa Agentic Reference Graph (ARG), un grafo de referencia que evoluciona de forma dinámica. Permite evaluar el progreso de cada acción respecto a la tarea. Sobre esa evaluación se sustentan dos mecanismos:

• Masking Unreasonable Incentives (MUI) enmascara la señal positiva de las acciones que carecen de sentido, incluso si pertenecen a una trayectoria «buena».
• Asymmetric Penalty Redistribution (APR) redistribuye la penalización en las trayectorias malas según cuánto se desvía del camino correcto el recorrido restante. Los pasos que más alejan de la meta reciben más castigo.

Se trata de un esquema plug-and-play: calibra el cálculo de la ventaja en los algoritmos grupales existentes y no modifica el resto del pipeline de entrenamiento.

Cifras y robustez

Los experimentos se realizaron con dos modelos de la familia Qwen2.5-Instruct, en los benchmarks ALFWorld y WebShop:

• Qwen2.5-1.5B-Instruct: 91,9% de éxito en ALFWorld, 66,7% en WebShop.
• Qwen2.5-7B-Instruct: 94,3% en ALFWorld, 70,8% en WebShop.
• Aceleración de la convergencia del entrenamiento: hasta 2,44 veces.
• Los resultados se obtuvieron sobre varios métodos base grupales de uso extendido, y los autores afirman que ProAS los eleva a todos a un nuevo state-of-the-art.

Los autores comprobaron aparte la sensibilidad a la calidad del grafo de referencia. El método mantiene su eficacia tanto con ARG imperfectos como con ARG destilados. Es relevante porque obtener un grafo ideal para tareas agénticas reales es difícil, y que funcione con versiones aproximadas rebaja la barrera de entrada.

A quién le sirve en la práctica

Los equipos que entrenan agentes con esquemas de tipo GRPO suelen toparse con el coste de cómputo y con la inestabilidad de la señal en trayectorias largas. ProAS ataca ambos problemas: no añade un crítico, y una aceleración de hasta 2,44 veces implica menos horas de GPU para el mismo resultado. El método encaja con quienes construyen agentes para navegar por entornos, escenarios web y automatización de varios pasos.

El código está publicado en el repositorio LINs-lab/ProAS de GitHub, de modo que la hipótesis puede comprobarse con tareas propias. Hay una salvedad: las cifras proceden de dos benchmarks y de modelos de hasta 7.000 millones de parámetros. Cómo se comportará el método con modelos más grandes y en entornos menos estructurados lo dirán las reproducciones independientes. Aun así, la idea de evaluar la aportación de cada paso sin crítico parece una forma viable de hacer el RL agéntico más barato y más preciso.