ProAS accélère l'entraînement des agents LLM de 2,44 fois et porte ALFWorld à 94,3%

L'équipe LINs-lab a publié ProAS (Progress-Aware Advantage Shaping), une surcouche enfichable pour l'entraînement d'agents LLM par apprentissage par renforcement. La méthode ne requiert pas de modèle critique séparé et fait passer les algorithmes de référence de type groupe à un nouveau niveau. Sur Qwen2.5-7B-Instruct, l'agent résout 94,3% des tâches dans ALFWorld et 70,8% dans WebShop ; la version à 1,5 milliard de paramètres atteint 91,9% et 66,7%. L'entraînement converge en outre jusqu'à 2,44 fois plus vite.

Le problème : une seule évaluation pour toute la trajectoire

L'apprentissage par renforcement est devenu la méthode principale pour affiner les agents LLM. Les algorithmes sans critique les plus répandus, dont GRPO, sont économiques : ils n'entretiennent pas de second grand réseau pour évaluer les états. En contrepartie, l'avantage (advantage) est calculé au niveau de la trajectoire entière et distribué à parts égales à toutes les actions qu'elle contient.

Les auteurs de ProAS montrent les conséquences de ce choix dans les tâches à plusieurs étapes, où l'agent enchaîne des dizaines d'actions.

• Dans une trajectoire réussie, tout est récompensé sans distinction, y compris les étapes structurellement absurdes : détours inutiles, vérifications répétées, boucles. Le modèle les fixe comme « correctes » simplement parce que l'issue finale est un succès.
• Dans une trajectoire ratée, toutes les actions sont sanctionnées avec la même force, alors que certaines étapes ont presque mené au but et que d'autres ont éloigné l'agent de sa cible. Le signal ne distingue pas une erreur à la deuxième étape d'un raté à la dernière.

Dans les scénarios agentiques longs, cela ralentit l'apprentissage et tire vers le bas le taux de succès final.

Comment ProAS redistribue la récompense

À la place du critique, la méthode utilise l'Agentic Reference Graph (ARG), un graphe de référence qui évolue dynamiquement. Il permet d'évaluer la progression de chaque action par rapport à la tâche. Deux mécanismes reposent sur cette évaluation :

• Masking Unreasonable Incentives (MUI) masque le signal positif pour les actions dépourvues de sens, même lorsqu'elles figurent dans une « bonne » trajectoire.
• Asymmetric Penalty Redistribution (APR) redistribue la pénalité dans les mauvaises trajectoires selon l'écart entre le chemin restant et le chemin attendu. Les étapes qui éloignent le plus de l'objectif reçoivent la plus forte pénalité.

C'est un schéma plug-and-play : il calibre le calcul de l'avantage dans les algorithmes de groupe existants et ne modifie pas le reste du pipeline d'entraînement.

Chiffres et robustesse

Les expériences ont été menées sur deux modèles de la famille Qwen2.5-Instruct, avec les benchmarks ALFWorld et WebShop :

• Qwen2.5-1.5B-Instruct : 91,9% de succès sur ALFWorld, 66,7% sur WebShop.
• Qwen2.5-7B-Instruct : 94,3% sur ALFWorld, 70,8% sur WebShop.
• Accélération de la convergence de l'entraînement : jusqu'à 2,44 fois.
• Les résultats ont été obtenus en s'appuyant sur plusieurs méthodes de référence de type groupe courantes, et les auteurs affirment que ProAS les porte toutes à un nouvel état de l'art.

La robustesse à la qualité du graphe de référence a été testée séparément. La méthode reste efficace avec des ARG imparfaits comme avec des ARG distillés. C'est important : un graphe idéal est difficile à obtenir pour des tâches agentiques réelles, et le fait que la méthode fonctionne avec des versions approximatives abaisse le seuil d'entrée.

À qui cela servira en pratique

Les équipes qui entraînent des agents avec des schémas de type GRPO se heurtent généralement au coût de calcul et à l'instabilité du signal sur les longues trajectoires. ProAS s'attaque aux deux problèmes : aucun critique n'est ajouté, et une accélération allant jusqu'à 2,44 fois signifie moins d'heures-GPU pour le même résultat. La méthode convient à ceux qui construisent des agents de navigation dans des environnements, de scénarios web et d'automatisation en plusieurs étapes.

Le code est publié dans le dépôt LINs-lab/ProAS sur GitHub : l'hypothèse peut donc être testée sur ses propres tâches. Une seule réserve : les chiffres proviennent de deux benchmarks et de modèles allant jusqu'à 7 milliards de paramètres. Seules des reproductions indépendantes diront comment la méthode se comporte sur des modèles plus grands et dans des environnements moins structurés. Mais l'idée d'évaluer la contribution de chaque étape sans critique apparaît comme un moyen crédible de rendre le RL agentique moins coûteux et plus précis.