ServiceNow a présenté EVA — un nouveau framework pour évaluer les agents vocaux AI

ServiceNow a présenté EVA — un framework pour l'évaluation end-to-end d'agents IA vocaux, qui tente de mesurer non seulement si une tâche a été complétée, mais aussi la commodité de la conversation pour l'utilisateur. Le projet a été publié sur le blog de Hugging Face le 24 mars 2026, accompagné d'un dataset ouvert, d'un code et des résultats initiaux pour 20 systèmes.

Pourquoi les Tests Existants Sont Insuffisants

La plupart des benchmarks existants pour l'IA vocale testent les composants individuels du système isolément : reconnaissance vocale, qualité de synthèse, temps de réponse ou capacité à invoquer des outils. En pratique, cela est insuffisant. Les utilisateurs n'interagissent pas avec STT, TTS ou LLM isolément — ils conversent avec un seul agent qui doit comprendre la demande, maintenir le contexte, invoquer correctement les outils et accomplir la tâche sans confusion dans un dialogue en direct.

C'est pourquoi les auteurs d'EVA proposent d'évaluer un agent vocal comme un produit complet. Dans un scénario téléphonique, même une petite erreur ruine rapidement toute l'expérience : un code de confirmation mal entendu rend inutile la bonne logique du modèle, une longue liste d'options est difficile à comprendre à l'oral, et une pause supplémentaire pousse l'utilisateur à demander une clarification ou à abandonner l'appel. Les anciennes métriques manquent souvent ces défaillances car elles évaluent les composants isolément et en dehors du scénario utilisateur global.

Comment EVA Fonctionne

EVA est construit comme une vérification end-to-end d'une conversation multitours en audio. Le système simule un véritable appel téléphonique entre un agent vocal et un bot utilisateur qui agit selon un objectif et un rôle définis. L'agent doit utiliser des outils, respecter les règles du scénario et atteindre un état final vérifiable. Dans la version initiale, les auteurs ont publié un dataset synthétique d'aviation avec 50 scénarios et 15 outils : du changement de vols aux annulations, standby et bons d'échange pour passagers.

• Simulateur utilisateur définit l'objectif, le comportement et la manière de parler de l'appelant
• Agent vocal réussit le test dans un flux audio réel
• Exécuteur d'outils retourne des réponses déterministes et modifie l'état de la base de données du scénario
• Validateurs filtrent les exécutions de mauvaise qualité sans annotation manuelle
• Un ensemble de métriques analyse l'enregistrement de la conversation, la transcription et les journaux des appels d'outils

EVA possède deux scores agrégés principaux. EVA-A mesure la précision : l'agent a-t-il atteint le bon résultat, a-t-il inventé des politiques, a-t-il déformé des entités importantes comme les numéros de vols ou les montants ? EVA-X mesure l'expérience utilisateur : la réponse a-t-elle été assez courte pour un canal vocal, la conversation a-t-elle avancé sans répétition et l'agent a-t-il parlé au bon moment ? Les auteurs calculent également pass@3 et pass^3 pour voir non seulement la meilleure exécution, mais aussi la stabilité comportementale sur plusieurs tentatives dans le même scénario.

Ce Que les Tests Ont Montré

L'équipe a exécuté 20 systèmes à travers EVA — propriétaires et open-source, en cascade et natifs audio — et a atteint une conclusion clé : il existe un compromis persistant entre précision et qualité de conversation. Aucune configuration ne domine sur les deux axes simultanément. Certains agents complètent mieux la tâche mais rendent la conversation moins commode ; d'autres sonnent plus naturels mais font plus d'erreurs dans les étapes critiques et dans les longs scénarios multitours. Cela rend la comparaison des modèles notablement plus honnête qu'un simple pass/fail binaire.

"Les agents qui sont meilleurs pour accomplir les tâches offrent

souvent une pire expérience utilisateur, et inversement."

Une autre défaillance notable concerne les entités nommées. Une seule lettre mal entendue dans un code de confirmation ou un numéro de vol peut briser l'authentification et effondrer tout le scénario. Les auteurs notent également que les opérations multiples étapes se sont avérées particulièrement difficiles — par exemple, quand il faut réserver un vol tout en préservant les services supplémentaires comme le bagage et la sélection de sièges.

En même temps, l'écart entre pass@3 et pass^3 s'est avéré important pour de nombreux systèmes : un agent peut résoudre une tâche une fois mais ne pas le faire de manière cohérente. Il est aussi important que la version actuelle soit encore limitée aux scénarios en anglais dans l'aviation, donc à l'avenir il y a des expansions aux conditions bruyantes, accents, autres langues et nouveaux domaines.

Ce Que Cela Signifie

Le marché des agents vocaux passe des démos flashy à une évaluation d'ingénierie plus rigoureuse. Si EVA ou des frameworks similaires prennent racine, les gagnants ne seront pas les systèmes qui sonnent simplement naturels, mais ceux qui sont simultanément précis, concis et amènent régulièrement les conversations à un résultat dans des scénarios réels, et non seulement dans des exécutions heureuses isolées. Pour les déploiements d'entreprise, c'est un changement particulièrement important.