Lean4AgenticRL: recompensas de proceso multinivel llevan a LAR-27B al 77,3%

Las tareas largas de ingeniería de software —ya sea desarrollo, depuración o automatización en terminal— exigen que los agentes aprendan en dos niveles: el resultado final y las acciones intermedias. Sin embargo, las recompensas habituales basadas únicamente en el resultado aportan información limitada sobre qué pasos concretos fueron útiles, lo que dificulta un aprendizaje por refuerzo eficaz. Investigadores de Amazon han presentado Lean4AgenticRL, el primer framework que ancla recompensas de proceso multinivel en un único esquema de formalización Lean4 para el entrenamiento abierto de agentes. Con esta base se entrenaron los modelos LAR-9B y LAR-27B, que superan a modelos equivalentes y alcanzan un 77,3% en TerminalBench-2.1.

Tres niveles de anotación en lugar de uno

Los enfoques existentes se apoyan principalmente en recompensas de alto nivel centradas en el resultado final, ignorando casi por completo la información sobre el comportamiento de bajo nivel en las llamadas a herramientas y el progreso de nivel medio por etapas del workflow. Lean4AgenticRL resuelve este problema añadiendo tres niveles de recompensa interconectados:

• Recompensa por resultado (outcome reward): evalúa el éxito del resultado final de la tarea • Recompensa por etapa del workflow (workflow-stage reward): evalúa el progreso en cada etapa de ejecución del plan • Recompensa por comportamiento de herramientas (tool-call reward): evalúa la corrección de las llamadas a herramientas y funciones externas

La formalización mediante Lean4 como base de verificación

El framework comienza construyendo un workflow específico para el problema, un plan de solución que equilibra las capacidades del propio agente con la controlabilidad de su ejecución. Después, ese workflow se formaliza en un esquema unificado de Lean4, y los tres niveles se anotan dentro del mismo sistema. Esta formalización permite verificar el comportamiento del agente en un sistema común, garantizando la coherencia lógica de sus acciones.

El entrenamiento emplea una versión modificada del algoritmo GRPO con normalización por etapas (workflow-stage-normalized GRPO). En lugar de procesar cada paso de forma independiente, el algoritmo distribuye el crédito entre etapas comparables de distintos intentos de ejecución. Esto mejora significativamente la eficiencia del entrenamiento, ya que el agente recibe información más precisa sobre qué fases y acciones de la solución contribuyen realmente al éxito.

LAR-9B y LAR-27B: resultados en los benchmarks

Usando Lean4AgenticRL, los investigadores entrenaron dos familias de modelos:

• LAR-9B (modelo de 9.000 millones de parámetros) • LAR-27B (modelo de 27.000 millones de parámetros)

Los resultados de las pruebas son notables:

• LAR-27B alcanzó un 77,3% en TerminalBench-2.1 • LAR-27B alcanzó un 84,2% en SWE-Bench-Verified • Ambos modelos de la familia LAR superan a la línea base en una media del 9,89% • LAR-27B supera al mejor equivalente conocido de tamaño similar en un 5,07%

Estos resultados demuestran el potencial de integrar métodos formales en el aprendizaje por refuerzo abierto para agentes. Lean4AgenticRL muestra que una anotación más detallada del proceso, junto con la verificación formal, puede mejorar de forma significativa el desempeño de los agentes en tareas de ingeniería complejas.