ServiceNow apresenta EVA, novo framework para avaliar agentes de IA de voz

A ServiceNow apresentou o EVA, um framework de avaliação ponta a ponta para agentes de IA de voz que tenta medir não só se a tarefa foi cumprida, mas também o quão conveniente foi a conversa para a pessoa. O projeto foi publicado no blog da Hugging Face em 24 de março de 2026, junto com um conjunto de dados aberto, o código e os primeiros resultados de 20 sistemas.

Por que os testes antigos são insuficientes

A maioria dos benchmarks atuais de IA de voz testa partes isoladas do sistema, uma por vez: reconhecimento de fala, qualidade da síntese, tempo das falas ou capacidade de chamar ferramentas. Na prática, isso não basta. O usuário não conversa com um STT, um TTS ou um LLM separadamente: ele fala com um único agente, que precisa entender o pedido, não perder o contexto, usar as ferramentas corretamente e levar a tarefa até o fim sem confusão em um diálogo ao vivo.

Por isso, os autores do EVA propõem encarar o agente de voz como um produto completo. Em uma ligação telefônica, até um erro pequeno estraga rapidamente a experiência: um código de confirmação ouvido errado inutiliza a boa lógica do modelo, uma lista longa de opções é difícil de acompanhar de ouvido e uma pausa a mais faz a pessoa repetir a pergunta ou desistir. As métricas antigas muitas vezes não captam essas falhas porque avaliam os componentes isoladamente, fora do cenário geral de uso.

Como o EVA funciona

O EVA foi construído como uma verificação ponta a ponta de uma conversa em áudio com várias etapas. O sistema simula uma ligação real entre um agente de voz e um bot-usuário que age conforme um objetivo e um papel definidos. O agente precisa usar ferramentas, seguir as regras do cenário e chegar a um estado final verificável.

Na versão inicial, os autores lançaram um conjunto de dados sintético do setor aéreo com 50 cenários e 15 ferramentas: de remarcação de voos a cancelamentos, standby e vouchers para passageiros.

• O simulador de usuário define o objetivo, o comportamento e o jeito de falar de quem liga
• O agente de voz é testado em um fluxo de áudio real
• O executor de ferramentas devolve respostas determinísticas e altera o estado do banco de dados do cenário
• Validadores descartam execuções de baixa qualidade sem rotulagem manual
• Um conjunto de métricas analisa a gravação da conversa, a transcrição e os logs de chamadas de ferramentas

O EVA tem duas notas finais principais. O EVA-A mede a precisão: se o agente chegou ao resultado correto, se inventou uma política e se distorceu entidades importantes, como o número do voo ou um valor. O EVA-X mede a experiência do usuário: se a resposta foi curta o bastante para um canal falado, se a conversa avançou sem repetições e se o agente falou no momento certo.

Os autores também calculam pass@3 e pass^3, para enxergar não só a melhor execução, mas também a estabilidade do comportamento em várias tentativas no mesmo cenário.

O que os testes mostraram

A equipe passou 20 sistemas pelo EVA, proprietários e de código aberto, em cascata e nativos de áudio, e chegou a uma conclusão principal: há um dilema persistente entre precisão e qualidade da conversa. Nenhuma configuração domina nos dois eixos. Alguns agentes cumprem melhor a tarefa, mas deixam a conversa menos confortável; outros soam mais agradáveis, mas erram mais em etapas críticas e em cenários longos de vários turnos. Isso torna a comparação entre modelos bem mais justa do que o simples aprovado/reprovado binário.

"Agentes que se saem melhor em cumprir a tarefa costumam oferecer uma

experiência de usuário pior, e vice-versa."

Outra falha notável envolve entidades nomeadas. Uma única letra reconhecida errado em um código de confirmação ou número de voo pode derrubar a autenticação e todo o cenário. Os autores também observam que operações em várias etapas são especialmente difíceis, por exemplo quando é preciso remarcar um voo e, ao mesmo tempo, manter extras como bagagem e assentos.

A diferença entre pass@3 e pass^3 foi grande em muitos sistemas: o agente pode resolver a tarefa uma vez, mas não de forma estável. Também vale notar que a versão atual se limita a cenários aéreos em inglês, então a expansão para ambientes ruidosos, sotaques, outros idiomas e novos domínios ainda está por vir.

O que isso significa

O mercado de agentes de voz está saindo das demos bonitas e indo para uma validação de engenharia mais rigorosa. Se o EVA ou frameworks parecidos pegarem, os vencedores não serão os sistemas que apenas soam naturais, mas os que são, ao mesmo tempo, precisos, concisos e capazes de levar a conversa a um resultado de forma repetível em cenários reais, e não só em execuções isoladas de sorte. Para implantações corporativas, essa mudança é especialmente importante.