Un agent réussi à 60 % ne commande son café correctement qu'une fois sur cinq avec une probabilité de 99 %, mais cinq fois de suite seulement dans 8 % des cas
Quand un agent IA commande un café via votre API, les logs peuvent être au vert alors qu'il a pris un chocolat chaud au lieu d'un iced latte. Vercel conseille de lancer une même tâche plusieurs fois et de calculer la part de réussites. Dans la démo, l'agent a réussi 3 essais sur 5, soit 60 % : la probabilité qu'au moins une commande sur cinq soit correcte est de 99 %, mais celle que cinq commandes soient toutes correctes d'affilée n'est que de 8 %. Si l'utilisateur a besoin d'un résultat fiable chaque matin, c'est le second chiffre qui compte.
Traité par IA depuis Vercel Blog ; édité par Hamidun News
Imaginez que vous ayez conçu une API de commande de café et que votre client soit non pas un humain, mais un agent IA. Il passe la commande, la requête aboutit, les logs sont au vert, mais l'utilisateur demandait un iced latte et on lui a livré un café chaud. C'est précisément ce type d'erreurs silencieuses qu'analyse l'équipe de Vercel.
Son exemple principal : l'agent réussit une tâche dans 3 essais sur 5, soit 60 %. Si on lui laisse cinq tentatives, au moins une sera correcte avec une probabilité d'environ 99 %. Mais il ne réalisera les cinq commandes correctement d'affilée que dans environ 8 % des cas.
Les deux chiffres sont exacts ; ils répondent simplement à des questions différentes.
L'agent est aussi un utilisateur de votre produit
Si vous développez une API, une CLI, un serveur MCP ou un SDK, vous avez désormais un nouveau type de client. L'agent n'a pas vu votre lancement ni vos publicités, mais il parcourt le même entonnoir qu'un humain : il trouve le produit, le choisit, obtient l'accès et tente de résoudre la tâche. À chaque étape, moins d'agents arrivent jusqu'au bout. Vercel s'est concentrée sur la dernière étape, la réussite : l'agent a-t-il fait ce qui lui était demandé ?
La vérifier est plus difficile qu'il n'y paraît. Les réponses d'un LLM varient d'un lancement à l'autre, donc un seul test manuel réussi ne prouve pas qu'une correction a fonctionné. Il faut un eval : un test lancé de nombreuses fois, dont le résultat est évalué avant et après la modification.
Vercel répartit les tests pour logiciels agentiques selon le nombre d'appels au modèle. Les tests déterministes n'appellent aucun LLM. Les one-turn evals utilisent un seul appel et vérifient une décision, par exemple la première commande que l'agent exécutera. Les E2E evals laissent l'agent accomplir la tâche entièrement et vérifient le résultat final. SWE-bench et Terminal-Bench relèvent précisément de cette catégorie. Plus on monte en niveau, plus le test est coûteux et lent ; la masse des tests doit donc être constituée de tests bon marché. Mais la réussite ne peut être vérifiée qu'au niveau supérieur : chaque étape, prise isolément, paraît raisonnable, et la commande reste pourtant fausse.
Un café à 8 h 30 : trois métriques au lieu d'une
Dans l'exemple, le service SF Beans accepte les commandes de café à San Francisco via la CLI sfbeans. La demande : un grand iced latte au lait entier, prêt à 9 h, pour moins de 8 $ taxes et pourboire compris. Sur quatre cafés, seul Valencia Grind convient : chez Fog City Roasters, la machine à glace est en panne, chez 24th St Beans, la commande revient à 9,27 $ après taxes et pourboire, et chez Dolores Drip, elle ne sera prête qu'à 9 h 20 au plus tôt.
Le test est construit sur Harbor, un framework open source créé par les auteurs de Terminal-Bench. Il fait tourner les agents dans des conteneurs, vérifie le résultat et enregistre toutes les actions. La vérification contrôle qu'il n'y a qu'une seule commande, que la boisson est la bonne, que l'horaire convient et que le budget n'est pas dépassé.
Les métriques sont les suivantes :
- Taux de réussite : 3 essais sur 5 donnent 60 %.
- Pass@k : probabilité qu'au moins un des k essais réussisse. Pour cinq essais, environ 99 %. Cet indicateur répond à la question de savoir si l'agent est capable de réaliser la tâche.
- Pass^k : probabilité que les k essais réussissent tous. Pour cinq, environ 8 %. Cet indicateur répond à la question de savoir si l'on peut compter sur l'agent à chaque fois.
Dans le tableau illustratif de Vercel pour Claude Code avec Opus 5.5, un utilisateur qui commande son café chaque jour ouvrable reçoit au moins une commande erronée dans 92 % des semaines. Pour le café du matin, il n'y a pas de seconde chance : SF Beans optimise donc précisément le pass^5. Pour un agent de développement doté de tests, c'est le pass@k qui compte davantage : il voit lui-même ses erreurs et réessaie. Pour le brouillon d'un e-mail que l'humain relira de toute façon, un simple taux de réussite suffit.
Les étapes, le temps et le coût ne sont calculés que sur les exécutions réussies : les échecs sont plus courts, car l'agent a sauté une étape, par exemple sans demander le prix. Dans la démo, une exécution réussie compte environ 9 étapes, dure 3 min 50 s et coûte 0,56 $. En intégrant les échecs facturés, le coût d'un succès grimpe à 0,78 $.
Par où commencer
Il est impossible de couvrir par des tests tout ce qu'un LLM peut faire avec votre produit. Vercel conseille de retenir un seul résultat important pour les utilisateurs et de le chercher dans l'observabilité, les demandes de support et la feuille de route. Pour SF Beans, le ticket principal était « l'agent a commandé la mauvaise boisson » ; l'objectif est donc une commande correcte à chaque tentative pour Claude Code et Codex, d'où vient l'essentiel du trafic.
Le jeu de tâches comprend une commande type, deux cas limites (le café favori n'a pas la boisson demandée, et une commande de groupe de six boissons pour 45 $) et une situation où la bonne réponse consiste à ne rien commander et à signaler qu'aucune option ne convient. Dans ce dernier cas, la vérification lit le journal des commandes, auquel l'agent ne peut pas écrire, pour s'assurer qu'il a cherché avant d'abandonner.
La limite est simple : avec cinq essais, 100 % signifie seulement « aucun échec observé jusqu'ici ». Les moyennes globales peuvent masquer une tâche qui échoue souvent, c'est pourquoi les résultats doivent être examinés tâche par tâche. L'ordre pratique est le suivant : choisissez une tâche qui fait mal, lancez-la plusieurs fois et retenez la métrique principale selon le coût d'une erreur pour l'utilisateur.
- 21 nov. 2026Sakana AI crée un laboratoire appliqué pour modéliser les marchés et l'économie
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
- 21 nov. 202622 agents Claude ont cherché pendant six semaines des réponses sur les trous noirs — et ont résolu deux problèmes
Questions clés sur cet article
Que sait-on sur L'agent est aussi un utilisateur de votre produit ?
Si vous développez une API, une CLI, un serveur MCP ou un SDK, vous avez désormais un nouveau type de client. L'agent n'a pas vu votre lancement ni vos publicités, mais il parcourt le même entonnoir qu'un humain : il trouve le produit, le choisit, obtient l'accès et tente de résoudre la tâche. À chaque étape, moins d'agents arrivent jusqu'au bout. Vercel s'est concentrée sur la dernière étape, la réussite : l'agent a-t-il fait ce qui lui était demandé ? La vérifier est plus difficile qu'il n'y paraît.
Que sait-on sur Un café à 8 h 30 : trois métriques au lieu d'une ?
Dans l'exemple, le service SF Beans accepte les commandes de café à San Francisco via la CLI sfbeans. La demande : un grand iced latte au lait entier, prêt à 9 h, pour moins de 8 $ taxes et pourboire compris. Sur quatre cafés, seul Valencia Grind convient : chez Fog City Roasters, la machine à glace est en panne, chez 24th St Beans, la commande revient à 9,27 $ après taxes et pourboire, et chez Dolores Drip, elle ne sera prête qu'à 9 h 20 au plus tôt.
Que sait-on sur Par où commencer ?
Il est impossible de couvrir par des tests tout ce qu'un LLM peut faire avec votre produit. Vercel conseille de retenir un seul résultat important pour les utilisateurs et de le chercher dans l'observabilité, les demandes de support et la feuille de route. Pour SF Beans, le ticket principal était « l'agent a commandé la mauvaise boisson » ; l'objectif est donc une commande correcte à chaque tentative pour Claude Code et Codex, d'où vient l'essentiel du trafic.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.