AgentOrch compare deux types d'agents : l'écart entre Global et Step-by-Step a reculé de 79%

Les agents d'entreprise fonctionnent généralement en boucle : action, observation du résultat, nouvel appel au LLM, action suivante. C'est fiable, mais coûteux, puisque le modèle est sollicité à chaque étape. L'alternative s'appelle l'orchestration globale. Le modèle construit une seule fois un workflow exécutable complet, puis le système l'exécute sans retourner vers le LLM. Des chercheurs dirigés par Zijie Liu (neuf auteurs) ont publié le benchmark AgentOrch et mesuré le retard de la seconde approche sur la première. Ce retard existe pour tous les modèles évalués, mais il a diminué d'environ 79% entre les premiers modèles et le meilleur modèle actuel.

Ce qui a été comparé

AgentOrch repose sur 650 procédures opérationnelles standard (SOP) d'entreprise et 3220 variantes runtime. Une variante correspond à une même procédure confrontée à des conditions différentes pendant l'exécution. Pour les deux modes, les auteurs ont fixé les mêmes outils, les mêmes environnements et la même méthode d'évaluation. L'écart de précision ne s'explique donc pas par un jeu d'API plus pratique pour l'un des agents.

Le résultat principal : l'interaction pas à pas (Step-by-Step) reste plus précise pour chaque modèle testé. La raison est claire. Un agent qui voit le résultat de chaque action peut corriger sa trajectoire quand le système renvoie une réponse inattendue ou que les données ne correspondent pas aux attentes. Un workflow global n'a pas cette possibilité : il ne repère l'erreur de son plan qu'après l'exécution.

Trois moyens de réduire l'écart

Les auteurs identifient trois pistes, qui ont chacune amélioré l'orchestration globale :

• Construction incrémentale du workflow. Au lieu de générer tout le plan d'un coup, on l'assemble par morceaux. Sans retour d'exécution, cela apporte en moyenne +9,98 points de pourcentage de précision à Global.
• Révision des workflows existants à partir du retour d'exécution. Le plan est d'abord lancé, puis corrigé selon les résultats. La méthode a amélioré tous les modèles évalués, avec notamment +6,13 p.p. sur des variantes runtime mises de côté, que le modèle n'avait pas vues pendant la phase d'amélioration.
• Entraînement ciblé sur des workflows complets. Les modèles sont affinés précisément sur des plans exécutables entiers. Résultat : +12,18 p.p. en moyenne sur les cinq modèles entraînés.

Ces trois voies sont de nature différente. La première modifie la façon de générer, la deuxième ajoute une boucle de vérification, la troisième change les poids du modèle lui-même. Les auteurs donnent les chiffres séparément pour chacune, et non comme résultat d'une combinaison. On ne peut donc pas conclure de l'article que ces approches se cumulent, et encore moins dire à quel coût.

Pourquoi les 79% comptent plus que l'écart absolu

Une réduction de l'écart de 79% renseigne sur la trajectoire. Chaque nouvelle génération de modèles planifie mieux les longues séquences d'actions, ce qui améliore Global quasiment sans effort. Le mode pas à pas profite moins des progrès des modèles, car il compensait déjà une planification faible par des vérifications constantes.

L'écart n'est toutefois pas comblé. Les auteurs l'écrivent explicitement : Global offre une « voie prometteuse » vers des agents plus précis avec moins d'appels au LLM, mais n'égale pas encore le mode pas à pas.

Comment l'exploiter en pratique

Pour les équipes qui conçoivent des agents destinés aux processus internes (validations, traitement de demandes, opérations réglementées), les résultats suggèrent plusieurs choix.

• Si le processus est répétitif et bien décrit dans une SOP, il est logique d'essayer un workflow global : il réduit les coûts d'inférence et le nombre de points où le LLM peut se tromper ou ralentir l'exécution.
• Si l'environnement est instable et que les réponses des systèmes s'écartent souvent de la norme, le mode pas à pas reste plus sûr.
• Avant de choisir une architecture, il est utile de tester la révision du workflow par retour d'exécution. Elle a amélioré tous les modèles évalués et fonctionne même sur des variantes imprévues.
• Si vous disposez de logs d'exécutions réussies, vous pouvez les transformer en données d'entraînement composées de workflows complets. Sur cinq modèles, c'est ce qui a produit le plus fort gain moyen, +12,18 p.p.

Pour le marché des agents d'entreprise, la conclusion est simple. La compétition ne porte pas seulement sur la qualité du modèle. Le nombre d'appels à ce modèle nécessaires pour un seul processus métier compte de plus en plus. AgentOrch permet de mesurer cet arbitrage dans des conditions identiques.