ProAS acelera el entrenamiento de agentes LLM 2,44 veces y lleva ALFWorld al 94,3%

El equipo de LINs-lab ha publicado ProAS, Progress-Aware Advantage Shaping: un complemento conectable para el entrenamiento de agentes LLM con aprendizaje por refuerzo. El método no necesita un modelo crítico independiente y eleva los resultados de los algoritmos base de tipo grupal a un nuevo nivel. En Qwen2.5-7B-Instruct, el agente resuelve el 94,3% de las tareas en ALFWorld y el 70,8% en WebShop, mientras que la versión de 1.500 millones de parámetros alcanza el 91,9% y el 66,7%. El entrenamiento, además, converge hasta 2,44 veces más rápido.

El problema: una sola evaluación para toda la trayectoria

El RL se ha convertido en la forma principal de ajustar agentes LLM. Los algoritmos sin crítico más populares, entre ellos GRPO, son baratos porque no mantienen una segunda red grande para evaluar estados. El precio de ese ahorro es que la ventaja (advantage) se calcula a nivel de toda la trayectoria y se reparte por igual entre todas las acciones que la componen.

Los autores de ProAS muestran a qué conduce esto en tareas de múltiples pasos, donde el agente realiza decenas de acciones.

• En una trayectoria exitosa se premia todo, incluidos pasos estructuralmente absurdos: transiciones innecesarias, comprobaciones repetidas, bucles. El modelo los asume como "correctos" solo porque el resultado final fue exitoso.
• En una trayectoria fallida, todas las acciones se penalizan con la misma intensidad, aunque unos pasos estuvieron a punto de alcanzar el objetivo y otros alejaron mucho al agente. La señal no distingue entre un error en el segundo paso y un fallo en el último.

En escenarios agénticos largos, esto ralentiza el entrenamiento y reduce el éxito final.

Cómo redistribuye la recompensa ProAS

En lugar de un crítico, el método utiliza un Agentic Reference Graph (ARG), un grafo de referencia que evoluciona dinámicamente. Permite evaluar el progreso de cada acción en relación con la tarea. Sobre esa evaluación se construyen dos mecanismos:

• Masking Unreasonable Incentives (MUI) enmascara la señal positiva de las acciones que no tienen sentido, incluso si forman parte de una trayectoria "buena".
• Asymmetric Penalty Redistribution (APR) redistribuye el castigo en las trayectorias malas según cuánto se desvía el camino restante del correcto. Los pasos que alejan más al agente del objetivo reciben una penalización mayor.

Es un esquema plug-and-play: calibra el cálculo de la ventaja dentro de algoritmos grupales ya existentes, sin modificar el resto del pipeline de entrenamiento.

Cifras y robustez

Los experimentos se realizaron con dos modelos de la familia Qwen2.5-Instruct, en los benchmarks ALFWorld y WebShop:

• Qwen2.5-1.5B-Instruct: 91,9% de éxito en ALFWorld, 66,7% en WebShop.
• Qwen2.5-7B-Instruct: 94,3% en ALFWorld, 70,8% en WebShop.
• Aceleración de la convergencia del entrenamiento: hasta 2,44 veces.
• Los resultados se obtuvieron sobre varios métodos base grupales de uso común, y los autores afirman que ProAS eleva a todos ellos a un nuevo estado del arte.

También se comprobó por separado la robustez frente a la calidad del grafo de referencia. El método mantiene su eficacia tanto con ARG imperfectos como destilados. Esto es importante porque conseguir un grafo perfecto para tareas agénticas reales es difícil, y que funcione con versiones aproximadas reduce la barrera de entrada.

A quién le resulta útil en la práctica

Los equipos que entrenan agentes con esquemas tipo GRPO suelen toparse con el coste computacional y con la inestabilidad de la señal en trayectorias largas. ProAS ataca ambos problemas: no añade un crítico, y una aceleración de hasta 2,44 veces significa menos horas de GPU para el mismo resultado. El método es adecuado para quienes construyen agentes de navegación por entornos, escenarios web y automatización de múltiples pasos.

El código está publicado en el repositorio LINs-lab/ProAS en GitHub, así que la hipótesis se puede comprobar en tareas propias. Con una salvedad: las cifras se obtuvieron en dos benchmarks y en modelos de hasta 7.000 millones de parámetros. Cómo se comportará el método en modelos más grandes y en entornos menos estructurados lo mostrarán reproducciones independientes. Pero la idea de evaluar la contribución de cada paso sin un crítico parece una forma viable de hacer el RL agéntico más barato y preciso.