Les meilleurs agents IA réussissent jusqu'à 98% des tests, mais ne livrent un produit pleinement fonctionnel que dans 65% des cas au mieux

Imaginez que vous demandiez à un agent IA de créer une application de VTC. Il commence par la commande de courses, puis vous réclamez des pénalités d'annulation, des chauffeurs avec plusieurs véhicules, le calcul du revenu par course et le paiement partagé. Chaque nouvelle fonction vient se greffer sur le code que l'agent a écrit auparavant.

Si elle casse une fonction existante, par exemple si le calcul des revenus ignore désormais les pénalités, le produit est inutilisable, même quand presque tout le reste fonctionne. C'est exactement ainsi que l'on pratique aujourd'hui le « vibe coding » sur la plateforme Replit, alors que les benchmarks habituels ne vérifient qu'une seule tâche clairement décrite, et que beaucoup d'entre eux sont déjà quasiment saturés. C'est pourquoi Replit a publié ViBench 2.

0. Le résultat : les trois meilleurs modèles passent jusqu'à 98% des scénarios de test, mais ne livrent un produit entièrement fonctionnel que dans 65% des builds au maximum. La part de builds entièrement fonctionnels dès la première tentative s'appelle pass@1.

Si vous construisez un produit avec un agent, c'est cet indicateur qu'il faut regarder.

Comment fonctionne le test

L'agent part d'un projet vide et reçoit les exigences fonction par fonction, au sein d'un seul long dialogue. Chaque produit comprend de 9 à 18 demandes, le dialogue peut dépasser 200 000 tokens, et chaque étape est limitée à 300 pas d'agent et à deux heures. Le benchmark compte au total 17 produits web complets, inspirés d'Amazon, Asana, Discord, Figma, GitHub, Google Docs, Jira et Uber. Ils représentent 241 demandes de nouvelles fonctions et 544 scénarios de test, dont 85% vérifient plusieurs fonctions à la fois.

Personne ne contrôle le résultat entre les demandes. La note n'est attribuée qu'une seule fois, une fois le produit terminé, par un agent navigateur : il ouvre l'application dans un véritable Chromium et agit comme un utilisateur. Un build n'est validé que si tous les scénarios du produit sont passés, soit de 26 à 41 selon le produit. L'architecture est choisie par l'agent lui-même, si bien que les tests évaluent le résultat, et non un design précis. Un libellé « Waiting at stop » à la place de « At Stop » n'est pas considéré comme une erreur.

Les auteurs ont aussi vérifié le vérificateur lui-même. Il revérifie un scénario échoué jusqu'à quatre fois, jusqu'à ce que trois évaluations concordent. Il a détecté les 34 bugs introduits volontairement, et ne compte que 0,8% de faux « succès ». Le vérificateur et la préparation des données de test s'appuient sur Opus 5.5.

L'écart entre « presque » et « terminé »

Les auteurs ont testé neuf modèles. Les leaders, GPT-6.1 Sol, GPT-6 Astra et Opus 5.5, passent jusqu'à 98% des scénarios. Mais ils ne livrent un produit entièrement fonctionnel que dans 65% des builds au maximum. Pour la plupart des builds ratés de ce trio, il ne manquait qu'un ou deux scénarios. La marge de progression se situe dans la fiabilité, et non dans la capacité à produire quelque chose. Aucun modèle ouvert n'a jamais produit un produit entièrement fonctionnel.

La dynamique est pourtant rapide. Sur trois versions d'une même famille de modèles, le pass@1 sur les produits publics est passé de 3% à 53%, et le coût d'un build a plus que diminué de moitié. Cela vaut aussi pour d'autres benchmarks : sur Vibe Code Bench, le meilleur résultat est passé de 61,8% en mars 2026 à plus de 90% pour six modèles à la fin octobre. Les tests où l'agent accomplit une seule tâche atteignent vite un plafond. Le build long, avec vérification du produit fini, n'y est pas encore.

Que faire de ces résultats

Le pourcentage moyen de tests réussis masque l'essentiel : une seule ancienne fonction cassée rend le build inutilisable. Évaluez les modèles selon la part de builds sans défaut. Vérifiez le produit dans son ensemble, comme le ferait un utilisateur, et pas seulement chaque étape isolée. Replit utilise elle-même ViBench 2.0 pour choisir les modèles de sa plateforme et pour évaluer les modifications de son agent en production.

Il y a aussi des réserves. Replit est à la fois l'auteure du test et sa première utilisatrice. Mais l'équipe externe de Fireworks a vérifié le lancement : elle a déployé le benchmark publié et exécuté chaque modèle avec une seule commande, sans modification. Huit produits sont publiés sur GitHub, avec le lanceur et le vérificateur. Neuf autres restent cachés, afin que les modèles ne soient pas entraînés sur le test. Les fichiers publics sont marqués d'une chaîne spéciale, qui permet de les filtrer des données d'entraînement.