Le meilleur agent IA pour le code ne résout entièrement que 26 % des tâches réelles de Co-Design Bench

Si vous lâchez un agent IA dans un dépôt de travail, la scène vous est familière : il fait presque tout, puis vous passez une demi-heure à traquer les menus détails restants. Le nouveau benchmark Co-Design Bench est le premier à mesurer ce phénomène de façon systématique, et les chiffres font réfléchir.

Ce qui a été testé

Une équipe d'Alibaba et de plusieurs universités asiatiques a construit ses tests à partir de véritables sessions de développement. Les chercheurs ont volontairement retenu les cas où l'utilisateur avait dû reformuler sa demande ou annuler des modifications. Autrement dit, le test ne contient que des tâches sur lesquelles les agents s'étaient déjà trompés en pratique.

Les tâches sont variées : de la petite retouche à la refonte d'un projet entier. Exemple typique : extraire le montant d'une photo de ticket de caisse et mettre à jour tous les totaux dépendants dans l'application. Une partie des tâches est multimodale, avec des images, de l'audio, de la vidéo ou des documents en entrée.

L'évaluation est stricte. Un premier juge IA lance l'application finie dans un navigateur, un second revérifie chaque verdict positif et traque les bouchons (stubs) et les résultats codés en dur. Les points ne sont accordés que pour ce qui fonctionne réellement.

Les résultats

Sur les dix modèles, GPT-6 Astra arrive en tête. Il satisfait en moyenne environ 70 % des exigences d'une tâche, mais ne livre un résultat entièrement exempt d'erreurs que dans 26,4 % des cas. Viennent ensuite Claude Opus 5 et Qwen3.8-Max, Grok 4.6 fermant la marche. Dans la catégorie multimodale, le leader résout entièrement 41 % des tâches, contre moins de 18 % dans les tâches au niveau du dépôt.

Sur les anciens benchmarks comme WebCompass-edit, les modèles obtiennent presque le maximum ; ici, l'écart dépasse 35 points de pourcentage. Selon les auteurs, les tests précédents sont simplement saturés : lorsque l'agent lance et corrige lui-même son code, les différences entre modèles deviennent presque invisibles.

Autre constat : plus une tâche mêle de types de modifications (mise en page, design, interactivité, contenu), moins le résultat est bon. À trois ou quatre types, les dix modèles décrochent. Or, dans les projets réels, les modifications sont presque toujours mixtes. Davantage de calcul n'y change rien : sur les petites retouches, GLM-5.2 consomme environ six fois plus de tokens que GPT-6 Astra et perd pourtant nettement.

L'environnement compte autant que le modèle

Une expérience distincte a fait tourner les mêmes modèles dans différents harnais (harness), c'est-à-dire les programmes par lesquels l'agent lit, écrit et exécute le code. Sur les grosses refontes, Qwen3.8-27B a obtenu 75 % dans un environnement et 56 % dans un autre. Le classement de deux modèles dépendait lui aussi de l'environnement. Les auteurs recommandent donc de toujours indiquer le couple « modèle plus harnais ».

Limites

Le benchmark vérifie une seule requête fixe par tâche ; les précisions et corrections en cours de route en sont absentes. Les juges IA peuvent eux aussi se tromper. Par ailleurs, une étude de METR avait montré que la part de code acceptée par les mainteneurs de projets est inférieure d'environ 24 points aux résultats sur SWE-bench Verified. L'effet de l'environnement reste ambigu : une autre étude récente n'a presque trouvé aucun bénéfice aux harnais plus complexes, bien qu'ils dépensent jusqu'à trois fois plus de tokens.

Que faire en pratique

Premièrement : ne choisissez pas un agent d'après le classement des modèles. Testez sur vos propres tâches réelles le couple « modèle plus outil » et comparez précisément celui-ci. Deuxièmement : prévoyez du temps pour la relecture et la finition, surtout quand la tâche mêle mise en page, logique et données. Découpez les grosses demandes en étapes homogènes, ce qui réduit le risque d'inachevé. Troisièmement : vérifiez le résultat dans l'application en fonctionnement, et non dans le diff, car c'est ainsi que ce benchmark a lui-même évalué.

La conclusion est simple : les agents font gagner beaucoup de temps, mais la promesse du « je confie la tâche et je l'oublie » n'est tenue que dans environ un cas sur quatre.