AgentOrch : un plan d'agent IA établi à l'avance ne perd plus que 8,5 points face à l'approche pas à pas

AgentOrch : un plan d'agent IA établi à l'avance ne perd plus que 8,5

points face à l'approche pas à pas

Quand on confie à un agent IA une véritable tâche métier — par exemple récupérer un ticket dans Jira, l'enrichir avec des données issues de Salesforce et de Google Sheets, puis envoyer une synthèse sur Slack — deux manières fondamentalement différentes de procéder s'offrent à lui. La première : avancer pas à pas, observer le résultat après chaque action et décider de la suite. La seconde : établir une fois pour toutes un plan complet de toutes les actions à mener, avant même de voir les données d'entrée concrètes, puis l'exécuter du début à la fin sans intervention du modèle.

Les auteurs du projet AgentOrch (dépôt disponible sur GitHub chez l'organisation workato-devs) ont voulu comparer honnêtement ces deux approches sur les mêmes tâches, les mêmes outils et les mêmes critères d'évaluation — jusqu'ici, ces comparaisons se faisaient généralement dans des conditions différentes, rendant les conclusions difficiles à valider.

L'écart de coût s'est révélé considérable : le mode pas à pas effectue en moyenne 23,2 fois plus d'appels au modèle et génère 3,64 fois plus de tokens que le mode « plan complet ». La question était de savoir dans quelle mesure la qualité en pâtissait.

Ce que révèle la comparaison des modèles

Les auteurs ont constitué un benchmark de 650 procédures d'entreprise réelles (SOP) et 3 220 variantes d'exécution avec des données d'entrée et des conditions différentes — branchements, boucles, erreurs. Chaque procédure dispose d'un flux de travail de référence, enregistré via de véritables connexions à des services comme Slack, Jira, Salesforce, Google Sheets, Google Drive, Snowflake et Workato — soit 64 types d'outils au total.

Conclusion principale : le mode pas à pas reste plus précis que le plan établi à l'avance pour tous les modèles testés, mais l'écart varie fortement d'une génération à l'autre :

• Chez GPT-3.5 Turbo, l'écart de précision atteignait 40,67 points de pourcentage.
• Chez GPT-5.6 Sol Thinking, il est tombé à 15,12 points.
• Chez Claude Opus 5 Thinking, à 8,53 points — soit près de 79 % de moins que chez GPT-3.5 Turbo.

Pour autant, une simple augmentation de la taille du modèle ne garantit rien en soi. Chez la famille Qwen2.5, la précision du plan à l'avance a chuté de 16,18 % à 32 milliards de paramètres à 9,91 % à 72 milliards, et l'écart avec le mode pas à pas a d'abord diminué, passant de 36,33 à 27,87 points (de 0,5 à 7 milliards de paramètres), avant de remonter à 36,66 points à 72 milliards.

Chez Gemma-3, l'écart s'est au contraire creusé avec la taille du modèle — de 26,6 points à 4 milliards à 32,52 points à 27 milliards. L'activation du « mode raisonnement » (thinking) produit elle aussi des effets imprévisibles : chez quatre des huit modèles testés, la précision du plan à l'avance a progressé, chez quatre autres elle a baissé, et l'écart avec le mode pas à pas ne s'est réduit que pour trois modèles sur huit.

Trois méthodes pour rapprocher le plan à l'avance du niveau du mode pas à pas

Les auteurs ont testé trois méthodes, chacune exploitant davantage d'informations que la précédente :

• Construction pas à pas du plan sans exécution. Le modèle n'établit pas le flux de travail d'un seul bloc, mais ajoute les étapes une à une via un éditeur ; après chaque étape, un validateur l'accepte ou renvoie une erreur — sans accès aux données d'entrée réelles ni aux résultats d'exécution. Cette méthode a fait progresser la précision de 9,98 points en moyenne.
• Révision du plan à partir de ses propres exécutions passées. Le modèle reçoit son plan ainsi qu'un rapport sur son fonctionnement réel (outils appelés, arguments utilisés, erreurs, résultat final), puis réécrit le plan — mais cela se fait une seule fois, sans appels supplémentaires au modèle pendant l'exécution elle-même. Cette méthode a amélioré la précision des huit modèles testés de 6,18 points en moyenne, et de 6,13 points sur des variantes de tâches non utilisées pour la révision.
• Réentraînement ciblé. Les auteurs ont constitué un jeu distinct de 3 000 scénarios de référence (sans recoupement avec le benchmark principal) et réentraîné cinq modèles pour générer un flux de travail complet à partir d'une description textuelle de la tâche, par apprentissage supervisé (SFT) et par apprentissage par renforcement (RL via l'algorithme GRPO). Pour chaque modèle, le meilleur des deux résultats a été retenu. En moyenne, la précision a gagné 12,18 points (de 6,84 à 19,88 points selon le modèle).

Ce que cela signifie en pratique

Pour les équipes qui construisent des agents en entreprise, la conclusion est pragmatique : si la tâche se prête à une planification à l'avance (sans nécessiter de réaction en temps réel à des imprévus), un plan construit d'avance coûte 23 fois moins cher en appels au modèle et en tokens — et avec les modèles les plus récents comme Claude Opus 5 Thinking ou GPT-5.6 Sol Thinking, l'écart de précision avec l'approche pas à pas n'est plus catastrophique, de l'ordre de 8 à 15 points de pourcentage. Mais le mode pas à pas, avec vérification du résultat à chaque étape, reste plus fiable dans tous les cas testés, et il ne suffit pas de prendre un modèle plus gros ou d'activer le raisonnement pour garantir une amélioration.

La méthode la moins coûteuse et la plus reproductible pour rapprocher le plan à l'avance du niveau souhaité consiste à laisser le modèle réviser une seule fois son plan à partir des résultats d'exécutions réelles, sans solliciter le modèle en continu pendant l'exécution.