EvoWeb teste les agents de codage sur 320 requêtes successives portant sur 32 applications web

On évalue généralement les agents de codage selon un schéma unique : on fournit une spécification, on récupère une application finie, on lance les tests. Le développement réel fonctionne autrement. Un produit grandit à travers une chaîne de requêtes : ajouter un panier, puis des codes promo, puis un espace personnel qui doit afficher l'historique des commandes. Le benchmark EvoWeb modélise précisément ce processus : 320 requêtes cumulatives sur 32 applications web, soit en moyenne dix étapes successives par projet. Selon ses auteurs, le principal goulot d'étranglement des modèles actuels est l'intégration des nouvelles fonctions avec celles qui existent déjà.

Comment fonctionne le benchmark

EvoWeb repose sur de véritables fonctionnalités produit. Des graphes de dépendances fonctionnelles relient les requêtes : une capacité s'appuie sur une autre, et l'ordre des tâches n'est pas arbitraire. L'agent travaille sur une base de code persistante. Le résultat de l'étape n° 3 sert de matière première à l'étape n° 4, et les erreurs accumulées ne disparaissent pas.

La vérification sort elle aussi de l'ordinaire. Après chaque requête, un agent web multimodal ouvre la version intermédiaire de l'application et la teste dans un navigateur réel. Il évalue trois points :

• la fonctionnalité qui vient d'être demandée marche-t-elle ;
• s'intègre-t-elle avec les fonctions issues des requêtes précédentes ;
• ce qui avait été implémenté auparavant est-il resté intact.

Le troisième point compte : dans ce cadre, les régressions ne se cachent pas derrière un test final, on les voit à chaque étape.

La fiabilité plutôt qu'un point d'arrêt

Les auteurs ont aussi fait un choix particulier sur la métrique. EvoWeb n'applique pas de critère d'arrêt fixe du type « on compte jusqu'à ce que l'agent échoue à une requête ». À la place, la trajectoire est intégrée sur différents seuils de tolérance de l'utilisateur. Un client pardonnera un échec, un autre partira dès le premier. La métrique indique combien de temps l'agent reste utile selon la sévérité face aux erreurs. Pour un ingénieur, cela se rapproche davantage de la question « combien d'itérations puis-je lui confier » que d'un sec pourcentage de tâches résolues.

Ce que montrent les expériences

Les auteurs ont testé des modèles frontier ouverts et fermés. EvoWeb les départage nettement, ce qui pose souvent problème à de nombreux benchmarks existants, où les meilleurs modèles se retrouvent dans un couloir étroit. Le composant le plus difficile s'est révélé être l'intégration entre requêtes.

Deux conclusions ressortent de l'analyse :

• Les requêtes situées plus loin dans la chaîne, avec des dépendances plus profondes ou plus nombreuses, sont moins bien résolues.
• Le nombre d'erreurs d'exécution augmente de requête en requête.

La seconde conclusion parlera à quiconque a confié une longue session à un agent. Le code s'accumule, les liens entre modules se complexifient, et chaque nouvelle modification risque de toucher quelque chose que le modèle a déjà « oublié » ou n'a pas retenu dans son contexte. C'est une dégradation sur la longue durée, pas un faux pas isolé.

Comment exploiter ces résultats en pratique

Pour les équipes qui déploient des agents dans le développement, EvoWeb fournit un cadre prêt à l'emploi pour leurs propres évaluations. Il faut juger l'agent non sur une seule tâche, mais sur une série de cinq à dix modifications liées dans un même dépôt, et revérifier systématiquement les anciennes fonctionnalités après chaque étape. Les tests automatisés de régression ne sont pas un luxe ici, mais une assurance. Si les erreurs d'exécution s'accumulent, il est judicieux de refactoriser plus souvent et de réduire le contexte que l'agent doit garder en tête.

Le signal est tout aussi clair pour les développeurs de modèles et de frameworks agentiques : il faut améliorer la gestion des dépendances et la résistance à la complexité accumulée, et pas seulement la qualité de la génération à partir d'une page blanche. Il faut aussi tenir compte d'une limite du benchmark : il se concentre sur les applications web et s'appuie sur un autre agent IA comme juge, de sorte que les évaluations héritent de ses marges d'erreur. Mais comme terrain d'essai pour les scénarios longs à requêtes multiples, EvoWeb comble une vraie lacune.