MultiAgent-OPD entraîne une équipe d'agents de bout en bout et atteint 38,68% sur sept benchmarks de QA

Des chercheurs de TaoLive AIGC (premier auteur : Yuhan Sun) ont publié MultiAgent-OPD, une méthode d'entraînement de bout en bout pour les systèmes multi-agents hiérarchiques. Elle associe distillation on-policy et apprentissage par renforcement. L'équipe, composée d'un Leader, d'un Searcher et d'un Answerer, repose sur un seul modèle de langage partagé. Sur sept jeux de données de QA, elle atteint 38,68% de macro avg@4. C'est 4,06 points de pourcentage de plus que Prompted Critic, une méthode à base de LLM-juge, et 2,61 points de plus que le système en cascade entraîné C-MAS + RL.

Pourquoi la réponse finale apprend mal aux Searchers

Dans un système hiérarchique, le Leader découpe la tâche en sous-tâches, que les sous-agents exécutent. Le Searcher cherche l'information en plusieurs vagues et condense ses trouvailles en rapports courts, dont l'Answerer tire la réponse. Entraîner l'ensemble est difficile à cause du problème d'attribution du crédit : la réponse finale est juste ou fausse, mais ce signal ne dit pas quelle requête du Searcher a aidé et laquelle a fait dévier.

Le contournement habituel est un LLM-juge qui note le travail des sous-agents. Or ses évaluations dépendent de la propre conception qu'a le juge d'une bonne réponse. Si le juge se trompe ou est biaisé, le système optimise docilement cette erreur. C'est précisément l'approche de Prompted Critic, une méthode MAS-RL de type M-GRPO.

Un enseignant qui ne change pas

Les auteurs construisent l'entraînement en deux étapes. Ils entraînent d'abord un Teacher dans un processus en cascade Searcher–Answerer, où le signal est la justesse de la réponse. Ensuite, l'enseignant est figé et intégré à l'entraînement conjoint de l'équipe.

Pendant l'entraînement d'équipe, l'étudiant génère lui-même les requêtes de recherche et les résumés, sur des trajectoires de sous-tâches qui évoluent. L'enseignant figé évalue ces tokens : il réalise ainsi une distillation au niveau des tokens, sur les propres actions de l'étudiant (on-policy). Le Searcher reçoit un signal de processus local et dense, portant sur la manière de chercher et de rapporter ce qu'il a trouvé. L'enseignant ne dépend pas de l'avis subjectif d'un juge externe, puisqu'il a lui-même été entraîné sur la justesse des réponses.

Les autres rôles reçoivent des signaux différents :

• Leader : il apprend du succès de l'équipe dans son ensemble (outcome-based RL) ;
• Answerer : il apprend de la justesse des réponses candidates ;
• Searcher : il reçoit une évaluation au niveau des tokens de la part de l'enseignant figé.

Les trois rôles optimisent un seul modèle partagé, qui apprend à coordonner la décomposition de la tâche, la recherche en plusieurs vagues et la génération de la réponse. À l'inférence, l'enseignant n'est pas nécessaire : l'étudiant entraîné suffit.

Chiffres et comparaison

• MultiAgent-OPD : 38,68% de macro avg@4 sur sept jeux de données ;
• Prompted Critic (LLM-juge, MAS-RL dans l'esprit de M-GRPO) : 4,06 points de moins, environ 34,6% ;
• C-MAS + RL (système multi-agents en cascade entraîné) : 2,61 points de moins, environ 36,1% ;
• la comparaison a été menée sur les checkpoints évalués ;
• l'équipe résout davantage de questions en quatre tentatives.

Un gain de 2–4 points en moyenne sur sept benchmarks est visible, sans être spectaculaire. Plus parlant : l'avantage sur le système en cascade est obtenu sans complexifier l'inférence. Les rôles partagent les mêmes poids, et le surcoût se concentre sur l'entraînement.

À qui sert cette recette

Pour les équipes qui construisent des agents de recherche et d'investigation, l'enseignement principal est pratique. Si vous avez un Leader qui distribue les tâches et des exécutants dont le travail n'est visible qu'à travers le résultat final, vous pouvez d'abord entraîner un enseignant sur un schéma en cascade simple, avec une réponse vérifiable. Ses évaluations figées servent ensuite de signal dense pour les exécutants, à la place d'un LLM-juge coûteux et bruité.

Cela réduit la dépendance à un évaluateur tiers et simplifie le déploiement : en production, un seul modèle tourne, et non un ensemble de plusieurs. Les limites sont elles aussi claires. La méthode a été testée sur des tâches de QA avec recherche, et pour d'autres types de sous-agents, par exemple de code ou d'outils, le schéma demandera une vérification distincte. La page du projet est disponible chez les auteurs, et l'article est publié sur arXiv sous le numéro 2610.23234.