Lean4AgenticRL : des récompenses de processus à plusieurs niveaux portent LAR-27B à 77,3 %

Les tâches longues en ingénierie logicielle — développement, débogage ou automatisation en terminal — exigent des agents une capacité d'apprentissage à deux niveaux : le résultat final et les actions intermédiaires. Or les récompenses classiques, fondées uniquement sur le résultat, n'offrent qu'une information limitée sur les étapes réellement utiles, ce qui complique un apprentissage par renforcement efficace. Des chercheurs d'Amazon ont présenté Lean4AgenticRL, le premier framework qui ancre des récompenses de processus multi-niveaux dans un schéma unifié de formalisation Lean4 pour l'entraînement ouvert d'agents. Sur cette base ont été entraînés les modèles LAR-9B et LAR-27B, qui surpassent leurs équivalents comparables et atteignent 77,3 % sur TerminalBench-2.1.

Trois niveaux d'annotation au lieu d'un seul

Les approches existantes s'appuient principalement sur des récompenses de haut niveau liées au résultat final, en ignorant presque totalement les informations sur le comportement de bas niveau lors des appels d'outils et la progression de niveau intermédiaire dans le workflow. Lean4AgenticRL résout ce problème en ajoutant trois niveaux de récompense interconnectés :

• Récompense de résultat (outcome reward) — évaluation du succès final de la tâche • Récompense d'étape de workflow (workflow-stage reward) — évaluation de la progression à chaque étape du plan • Récompense de comportement d'outils (tool-call reward) — évaluation de la justesse des appels à des outils et fonctions externes

La formalisation via Lean4 comme base de vérification

Le framework commence par construire un workflow spécifique à la tâche — un plan de résolution qui équilibre les capacités propres de l'agent et la contrôlabilité de son exécution. Ce workflow est ensuite formalisé dans un schéma Lean4 unifié, et les trois niveaux sont annotés au sein d'un même système. Cette formalisation permet de vérifier le comportement de l'agent dans un cadre commun, garantissant la cohérence logique de ses actions.

L'entraînement repose sur une version modifiée de l'algorithme GRPO avec normalisation par étape (workflow-stage-normalized GRPO). Plutôt que de traiter chaque étape indépendamment, l'algorithme répartit le crédit entre des étapes comparables issues de différentes tentatives. Cela améliore considérablement l'efficacité de l'entraînement, car l'agent reçoit une information plus précise sur les phases et actions qui contribuent réellement au succès.

LAR-9B et LAR-27B : résultats sur les benchmarks

Grâce à Lean4AgenticRL, les chercheurs ont entraîné deux familles de modèles :

• LAR-9B (modèle à 9 milliards de paramètres) • LAR-27B (modèle à 27 milliards de paramètres)

Les résultats des tests sont impressionnants :

• LAR-27B atteint 77,3 % sur TerminalBench-2.1 • LAR-27B atteint 84,2 % sur SWE-Bench-Verified • Les deux modèles de la famille LAR surpassent le modèle de base de 9,89 % en moyenne • LAR-27B surpasse le meilleur équivalent connu de taille comparable de 5,07 %

Ces résultats démontrent le potentiel de l'intégration de méthodes formelles dans l'apprentissage par renforcement ouvert pour les agents. Lean4AgenticRL montre qu'une annotation plus fine du processus, couplée à une vérification formelle, peut considérablement améliorer la qualité du travail des agents sur des tâches d'ingénierie complexes.