Δτ-Bench : le meilleur agent IA ne résout que 42,3% des tâches dans un monde qui change

Des chercheurs de l'University College London et leurs coauteurs présentent Δτ-Bench, un benchmark exécutable dans lequel l'ensemble des outils d'un agent IA ne reste pas figé. 1 588 tâches multi-étapes validées, réparties sur 42 domaines, sont exécutées à travers six états successifs de l'écosystème. La meilleure configuration évaluée (modèle ou scaffold agentique) ne résout que 42,3% des tâches. Avec le benchmark, les auteurs proposent Steward, un gestionnaire d'écosystème qui maintient un taux de réussite plus élevé d'un état à l'autre et consacre moins de ressources à l'entretien des compétences.

Un test où l'on réécrit le manuel en plein examen

La plupart des benchmarks d'agents fonctionnent comme un examen avec un manuel qui ne change jamais : l'ensemble des API est fixe, la documentation est propre, et il n'existe qu'un seul bon chemin. Dans les systèmes réels, il en va autrement. Les services évoluent indépendamment les uns des autres. Un outil familier disparaît ou est remplacé, les fonctionnalités de plusieurs services se recoupent, la documentation devient bruitée.

Δτ-Bench intègre cette dynamique dans le test lui-même. L'écosystème traverse six états, et les transitions entre eux reposent sur des capability-preserving transformations, c'est-à-dire des transformations qui préservent la possibilité de principe d'accomplir la tâche. La tâche reste donc résoluble ; seul le chemin pour y parvenir change. Cette conception évalue deux aptitudes qui étaient jusqu'ici mesurées séparément :

• trouver de manière proactive des chaînes d'appels plus efficaces, plutôt que de s'accrocher à la première qui fonctionne ;
• réviser rapidement les connaissances procédurales accumulées lorsque les anciennes recettes cessent de fonctionner.

Pourquoi les compétences deviennent obsolètes plus vite que les agents

n'apprennent

La partie la plus préoccupante des résultats concerne les méthodes de skill-learning, par lesquelles l'agent accumule des procédures réutilisables. Au départ, elles apportent un gain net, mais à mesure que l'écosystème évolue, ce gain ne se traduit pas en adaptation durable. L'expérience accumulée se retourne contre l'agent : il suit avec assurance un itinéraire déjà fermé, ou passe à côté d'un nouvel outil qui fait le même travail en moins d'étapes.

Le plafond global est lui aussi modeste. La meilleure configuration évaluée atteint 42,3% de tâches réussies. À titre de comparaison, les benchmarks statiques évaluent généralement les agents dans un environnement stable ; ici, la stabilité n'existe pas, et une part importante des tâches reste non résolue.

Steward : un jardinier pour les outils et les connaissances

Sur la base de ces observations, les auteurs ont construit Steward. Leur idée : les outils et les connaissances procédurales doivent être gérés ensemble, et non par des sous-systèmes distincts. Le gestionnaire s'appuie sur deux mécanismes :

• une maintenance incrémentale des compétences : seul ce qui est devenu obsolète est corrigé, sans reconstruire entièrement la bibliothèque ;
• une fourniture dynamique des outils en cours d'exécution de la tâche : l'agent reçoit les options à jour au moment où il en a besoin.

Selon les expériences, Steward maintient un taux de réussite plus élevé tout au long des changements de l'écosystème, pour un coût moindre de maintenance des compétences. Il récupère mieux les flux de travail cassés et bascule plus souvent vers des alternatives plus efficaces.

Les paramètres clés de Δτ-Bench

• Format : benchmark exécutable pour agents, avec des dialogues multi-étapes.
• Volume : 1 588 tâches validées.
• Couverture : 42 domaines.
• Dynamique : six états successifs de l'écosystème, créés par des transformations préservant les capacités.
• Perturbations : fonctionnalités redondantes, documentation bruitée, outils qui disparaissent ou sont remplacés.
• Meilleur résultat : 42,3% de tâches réussies.
• Méthode proposée : Steward, avec maintenance incrémentale des compétences et fourniture dynamique des outils.
• Auteurs : Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang, Yuqi Zhu, Shumin Deng, Emine Yilmaz.
• Ressources : article arXiv 2610.34238 et dépôt zjunlp/delta-tau-bench sur GitHub.

Que vérifier dans votre propre stack d'agents

Si vous construisez des agents sur des serveurs MCP, des API internes ou un ensemble de plugins, Δτ-Bench suggère des questions concrètes à poser à votre système. Que se passe-t-il avec la bibliothèque de compétences lorsqu'un des services change de schéma ou disparaît ? Existe-t-il un mécanisme qui détecte l'apparition d'un chemin plus court, et pas seulement la panne de l'ancien ? Combien coûte la maintenance des recettes accumulées, en tokens et en heures de travail humain ?

La conclusion pratique est simple. Évaluer un agent sur une seule exécution avec un jeu d'outils figé ne suffit pas. Il faut des exécutions régulières sur une version « à la dérive » de l'environnement, et la mémoire de l'agent doit suivre une politique d'obsolescence et de mise à jour ciblée. Le code du benchmark est ouvert : vous pouvez donc dès maintenant monter un tel test de résistance sur vos propres domaines.