Vercel : l'agent a commandé le bon café dans 60 % des essais, mais cinq fois de suite, seulement dans 8 % des cas
Un agent peut « réussir » à commander un latte chaud au lieu d'un latte froid : les logs sont propres, mais le client est mécontent. Vercel propose de lancer plusieurs fois la même tâche et de calculer la part des résultats corrects. Dans la démonstration, Claude Code avec Opus 5.5 a réussi 3 essais sur 5 (60 %) : au moins une commande correcte sur cinq essais atteint environ 99 %, mais cinq commandes correctes d'affilée tombent à environ 8 %. Pour une commande de café quotidienne, c'est le second chiffre qui compte.
Traité par IA depuis Vercel Blog ; édité par Hamidun News
Imaginez que vous ayez publié une API de commande de café, et que vos clients ne soient pas des humains mais des agents IA. L'un d'eux enregistre une commande « réussie » de latte chaud, alors que l'utilisateur a demandé un latte froid. La requête passe, les logs sont verts, la supervision ne signale rien, et la personne se retrouve sans la boisson voulue.
C'est précisément ce type d'échec que Vercel propose de détecter avec des evals : on donne la même tâche à un agent un grand nombre de fois, puis on compte à quelle fréquence le résultat est correct. Dans une démonstration, Claude Code avec le modèle Opus 5.5 a réalisé la commande dans 3 essais sur 5, soit 60 %.
La probabilité d'obtenir au moins une commande correcte sur cinq essais est d'environ 99 %, mais celle d'obtenir cinq commandes correctes d'affilée n'est que d'environ 8 %. Voyons d'où viennent ces chiffres et pourquoi le second compte davantage pour le produit.
En quoi un eval diffère d'un test classique
Un test classique répond à la question « ça marche ou non ». Un eval répond à la question « à quelle fréquence, et avec quelle qualité ». C'est nécessaire, parce que les réponses d'un LLM varient d'une exécution à l'autre : une seule réussite manuelle ne prouve rien. Pour savoir si une correction a aidé, il faut répéter les tâches avant et après la modification, puis comparer les résultats.
Vercel classe les tests des logiciels agentiques selon le nombre d'appels au modèle. Les tests déterministes n'utilisent pas de LLM : par exemple, ils vérifient que la recherche de cafés ne renvoie que les établissements pertinents, ou que le paiement débite exactement le montant annoncé dans le récapitulatif. L'eval à un tour utilise un seul appel et vérifie une décision, par exemple la première commande que l'agent va lancer.
L'eval de bout en bout (E2E) enchaîne plusieurs appels : l'agent accomplit la tâche en entier, et c'est le résultat final qui est vérifié. Plus il y a d'appels, plus le test est coûteux et lent ; la majeure partie des vérifications doit donc reposer sur les niveaux inférieurs, peu chers. Mais le succès dépend de toute la chaîne (trouver le café, filtrer selon les critères, passer commande), et chaque étape prise isolément peut sembler raisonnable.
C'est pourquoi la vérification du succès exige un eval E2E. Les benchmarks populaires SWE-bench et Terminal-Bench fonctionnent de la même manière.
L'exemple du café : objectif et métriques
Dans la démonstration de Vercel, le service fictif SF Beans, identifié par l'équipe sfbeans, sert de cadre. La demande du client : un grand latte froid au lait entier, pour 9 h, à moins de 8 $ taxes et pourboire compris, pour un utilisateur situé dans le quartier de Mission. Sur quatre cafés, trois ne conviennent pas : chez Fog City Roasters, la machine à glace est en panne ; chez 24th St Beans, le latte coûte 9,27 $ avec taxes et pourboire ; chez Dolores Drip, la première disponibilité est à 9 h 20. Seul Valencia Grind convient : 7,42 $ et prêt à 8 h 50.
Vercel conseille de choisir un objectif étroit : un seul résultat, important pour les utilisateurs. On peut le repérer dans la supervision, dans les demandes des clients ou dans la feuille de route. Chez sfbeans, la majorité des agents sont Claude Code et Codex, et la plainte la plus fréquente est « l'agent a commandé la mauvaise boisson ». Le critère de disponibilité est strict : la commande doit être correcte à chaque tentative, et non « en général ».
Il existe trois métriques. Le success rate est la part des tentatives réussies. Le pass@k est la probabilité qu'au moins une de k tentatives aboutisse ; il indique si l'agent est capable de réussir la tâche. Le pass^k est la probabilité que les k tentatives réussissent toutes ; il indique si l'on peut compter sur l'agent à chaque fois. Le temps, le nombre d'étapes et le coût ne se calculent que sur les tentatives réussies, car les tentatives ratées sont plus courtes : l'agent saute des étapes, par exemple la demande du prix final.
Sur cinq tentatives, l'agent a trois fois commandé chez Valencia Grind. Une fois, il a sauté le calcul et commandé chez 24th St Beans pour 9,27 $, une autre fois il a choisi Dolores Drip avec une disponibilité à 9 h 20. Le calcul donne : pass@5 = 1 − 0,4⁵ ≈ 99 %, pass^5 = 0,6⁵ ≈ 8 %. Avec une commande quotidienne, la personne recevra au moins un café incorrect dans 92 % des semaines. Une tentative réussie prend en moyenne environ 9 étapes et 3 minutes 50 secondes, et coûte 0,56 $, mais en intégrant les échecs payés, cela revient à 0,78 $ par succès.
Le choix de la métrique prioritaire dépend du coût d'une erreur. Un café du matin ne peut pas être refait : sfbeans regarde donc le pass^5. Un agent de code doté d'une suite de tests peut se corriger grâce au retour d'information ; le pass@k lui convient. Un e-mail que l'humain relira de toute façon avant envoi s'évalue avec le success rate classique.
Comment constituer un jeu de tâches, et ce qu'il ne faut pas attendre
Une bonne tâche comprend une instruction, un environnement identique au départ pour chaque tentative, un vérificateur (contrôle de l'état final, idéalement contrainte par contrainte) et, si besoin, une solution de référence. Le jeu doit contenir un cas typique, des cas limites et au moins une requête où la bonne action est de ne rien faire. L'exemple compte quatre tâches : une commande ordinaire ; « le café préféré ne fait pas la boisson demandée » ; une commande de groupe de 6 boissons pour 45 $ avec un seul point de retrait ; et une requête impossible, où il faut signaler à l'utilisateur qu'aucune option ne convient.
Pour ce dernier cas, le vérificateur lit le journal des commandes, inaccessible à l'agent en écriture, afin de s'assurer que celui-ci a cherché avant d'abandonner. Le tout s'exécute avec Harbor, un framework open source créé par les auteurs de Terminal-Bench : il lance les agents dans des conteneurs, vérifie les résultats et enregistre leurs actions.
Quelques réserves honnêtes. Il est impossible de couvrir toutes les actions possibles d'un LLM dans votre produit : commencez donc par un seul problème et une poignée de tâches. Les moyennes globales masquent les tâches qui échouent systématiquement, il faut donc regarder les résultats par tâche. Et avec cinq tentatives, 100 % signifie seulement « nous n'avons pas encore vu d'erreur », pas « il ne se trompe jamais ». Les chiffres de l'exemple du café sont illustratifs.
Conclusion pratique : prenez la plainte la plus fréquente concernant vos agents, transformez-la en plusieurs tâches à vérification automatique, puis lancez chacune plusieurs fois. Choisissez la métrique en fonction du coût d'une erreur, et pour les scénarios récurrents, visez une fiabilité « à chaque fois ».
- 21 nov. 2026Sakana AI crée un laboratoire appliqué pour modéliser les marchés et l'économie
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
- 21 nov. 202622 agents Claude ont cherché pendant six semaines des réponses sur les trous noirs — et ont résolu deux problèmes
Questions clés sur cet article
Que sait-on sur En quoi un eval diffère d'un test classique ?
Un test classique répond à la question « ça marche ou non ». Un eval répond à la question « à quelle fréquence, et avec quelle qualité ». C'est nécessaire, parce que les réponses d'un LLM varient d'une exécution à l'autre : une seule réussite manuelle ne prouve rien. Pour savoir si une correction a aidé, il faut répéter les tâches avant et après la modification, puis comparer les résultats. Vercel classe les tests des logiciels agentiques selon le nombre d'appels au modèle.
Que sait-on sur L'exemple du café : objectif et métriques ?
Dans la démonstration de Vercel, le service fictif SF Beans, identifié par l'équipe sfbeans, sert de cadre. La demande du client : un grand latte froid au lait entier, pour 9 h, à moins de 8 $ taxes et pourboire compris, pour un utilisateur situé dans le quartier de Mission. Sur quatre cafés, trois ne conviennent pas : chez Fog City Roasters, la machine à glace est en panne ; chez 24th St Beans, le latte coûte 9,27 $ avec taxes et pourboire ; chez Dolores Drip, la première disponibilité est à 9 h 20.
Comment constituer un jeu de tâches, et ce qu'il ne faut pas attendre?
Une bonne tâche comprend une instruction, un environnement identique au départ pour chaque tentative, un vérificateur (contrôle de l'état final, idéalement contrainte par contrainte) et, si besoin, une solution de référence. Le jeu doit contenir un cas typique, des cas limites et au moins une requête où la bonne action est de ne rien faire.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.