ServiceNow dévoile EVA, un nouveau cadre pour évaluer les agents IA vocaux

ServiceNow a dévoilé EVA, un cadre d'évaluation de bout en bout des agents IA vocaux, qui cherche à mesurer non seulement l'accomplissement de la tâche, mais aussi le confort de la conversation pour l'humain. Le projet a été publié sur le blog de Hugging Face le 24 mars 2026, avec un jeu de données ouvert, le code et les premiers résultats pour 20 systèmes.

Pourquoi les anciens tests ne suffisent plus

La plupart des benchmarks actuels d'IA vocale testent séparément des morceaux du système : reconnaissance vocale, qualité de la synthèse, minutage des répliques ou capacité à appeler des outils. En pratique, cela ne suffit pas. L'utilisateur ne parle pas à un STT, un TTS ou un LLM isolément : il parle à un seul agent, qui doit comprendre la demande, ne pas perdre le contexte, utiliser correctement les outils et mener la tâche à terme sans confusion dans un dialogue en direct.

C'est pourquoi les auteurs d'EVA proposent de considérer l'agent vocal comme un produit complet. Dans un scénario téléphonique, même une petite erreur gâche vite l'expérience : un code de confirmation mal entendu rend inutile la bonne logique du modèle, une longue liste d'options est difficile à suivre à l'oreille, et une pause de trop pousse la personne à redemander ou à raccrocher. Les anciennes métriques laissent souvent passer ces défaillances, car elles évaluent les composants isolément, hors du scénario d'usage global.

Comment fonctionne EVA

EVA est conçu comme un test de bout en bout d'une conversation audio en plusieurs étapes. Le système simule un appel réel entre un agent vocal et un bot-utilisateur qui agit selon un objectif et un rôle donnés. L'agent doit utiliser des outils, respecter les règles du scénario et atteindre un état final vérifiable.

Dans la version initiale, les auteurs ont publié un jeu de données synthétique du secteur aérien, avec 50 scénarios et 15 outils : de la réservation de nouveaux vols aux annulations, en passant par le standby et les bons pour les passagers.

• Le simulateur d'utilisateur définit l'objectif, le comportement et la façon de parler de l'appelant
• L'agent vocal est testé dans un flux audio réel
• L'exécuteur d'outils renvoie des réponses déterministes et modifie l'état de la base du scénario
• Des validateurs écartent les exécutions de mauvaise qualité sans annotation manuelle
• Un ensemble de métriques analyse l'enregistrement de la conversation, la transcription et les journaux d'appels d'outils

EVA propose deux notes finales principales. EVA-A porte sur la précision : l'agent est-il arrivé au bon résultat, a-t-il inventé une règle, a-t-il déformé des entités importantes comme un numéro de vol ou un montant. EVA-X porte sur l'expérience utilisateur : la réponse était-elle assez courte pour un canal oral, la conversation avançait-elle sans répétitions, et l'agent parlait-il au bon moment.

Les auteurs calculent aussi pass@3 et pass^3, afin de voir non seulement la meilleure exécution, mais aussi la stabilité du comportement sur plusieurs tentatives du même scénario.

Ce qu'ont montré les tests

L'équipe a fait passer 20 systèmes dans EVA, propriétaires et open source, en cascade et natifs audio, et en tire une conclusion principale : il existe un compromis durable entre précision et qualité de la conversation. Aucune configuration ne domine sur les deux axes. Certains agents accomplissent mieux la tâche, mais rendent la conversation moins confortable ; d'autres sonnent mieux, mais se trompent plus souvent aux étapes critiques et dans les longs scénarios à plusieurs tours. La comparaison des modèles devient ainsi nettement plus honnête qu'un simple pass/fail binaire.

«

Les agents qui accomplissent mieux la tâche offrent souvent une moins bonne expérience utilisateur, et inversement ».

Un autre échec marquant concerne les entités nommées. Une seule lettre mal reconnue dans un code de confirmation ou un numéro de vol peut faire échouer l'authentification et faire s'effondrer tout le scénario. Les auteurs relèvent par ailleurs que les opérations en plusieurs étapes se révèlent particulièrement difficiles, par exemple lorsqu'il faut replanifier un vol tout en conservant des services annexes comme les bagages et les sièges.

L'écart entre pass@3 et pass^3 s'est révélé important pour de nombreux systèmes : un agent peut résoudre la tâche une fois, sans le faire de façon stable. Il faut aussi noter que la version actuelle se limite à des scénarios aériens en anglais ; l'extension aux environnements bruyants, aux accents, à d'autres langues et à de nouveaux domaines reste à venir.

Ce que cela signifie

Le marché des agents vocaux passe des démos léchées à une validation d'ingénierie plus exigeante. Si EVA ou des cadres similaires s'imposent, les gagnants ne seront pas les systèmes qui sonnent simplement naturel, mais ceux qui sont à la fois précis, concis et capables de mener la conversation à un résultat de façon reproductible dans des scénarios réels, et pas seulement lors d'exécutions isolées réussies. Pour les déploiements en entreprise, ce changement est particulièrement important.