ServiceNow presenta EVA, un nuevo marco para evaluar agentes de IA de voz

ServiceNow ha presentado EVA, un marco de evaluación de extremo a extremo para agentes de IA de voz que intenta medir no solo si se cumplió la tarea, sino también lo cómoda que resultó la conversación para la persona. El proyecto se publicó en el blog de Hugging Face el 24 de marzo de 2026, junto con un conjunto de datos abierto, el código y los primeros resultados de 20 sistemas.

Por qué las pruebas antiguas se quedan cortas

La mayoría de los benchmarks actuales de IA de voz comprueban por separado partes concretas del sistema: reconocimiento de voz, calidad de la síntesis, momento de las intervenciones o capacidad de llamar a herramientas. En la práctica, eso no basta. El usuario no habla con un STT, un TTS o un LLM por separado: habla con un único agente que debe entender la petición, no perder el contexto, usar las herramientas correctamente y llevar la tarea hasta el final sin confusiones en un diálogo en vivo.

Por eso los autores de EVA proponen ver al agente de voz como un producto completo. En una llamada telefónica, incluso un error pequeño arruina rápidamente la experiencia: un código de confirmación mal oído inutiliza la buena lógica del modelo, una lista larga de opciones es difícil de seguir de oído y una pausa de más hace que la persona repita la pregunta o abandone. Las métricas antiguas suelen no detectar estos fallos porque evalúan los componentes de forma aislada, fuera del escenario de uso global.

Cómo funciona EVA

EVA está concebida como una prueba de extremo a extremo de una conversación de audio de varios pasos. El sistema simula una llamada real entre un agente de voz y un bot-usuario que actúa según un objetivo y un rol definidos. El agente debe usar herramientas, respetar las reglas del escenario y llegar a un estado final verificable.

En la versión inicial, los autores publicaron un conjunto de datos sintético del sector aéreo con 50 escenarios y 15 herramientas: desde la reprogramación de vuelos hasta cancelaciones, standby y vales para pasajeros.

• El simulador de usuario define el objetivo, el comportamiento y la forma de hablar de quien llama
• El agente de voz se prueba en un flujo de audio real
• El ejecutor de herramientas devuelve respuestas deterministas y modifica el estado de la base de datos del escenario
• Los validadores descartan ejecuciones de baja calidad sin etiquetado manual
• Un conjunto de métricas analiza la grabación de la conversación, la transcripción y los registros de llamadas a herramientas

EVA tiene dos puntuaciones finales principales. EVA-A mide la precisión: si el agente llegó al resultado correcto, si inventó una política y si distorsionó entidades importantes como el número de vuelo o un importe. EVA-X mide la experiencia de usuario: si la respuesta fue lo bastante corta para un canal oral, si la conversación avanzó sin repeticiones y si el agente habló en el momento adecuado.

Los autores calculan además pass@3 y pass^3, para ver no solo la mejor ejecución, sino también la estabilidad del comportamiento en varios intentos del mismo escenario.

Qué mostraron las pruebas

El equipo evaluó con EVA 20 sistemas, propietarios y de código abierto, en cascada y nativos de audio, y llegó a una conclusión principal: existe un equilibrio persistente entre precisión y calidad de la conversación. Ninguna configuración domina en ambos ejes. Unos agentes cumplen mejor la tarea, pero hacen la conversación menos cómoda; otros suenan más agradables, pero fallan más en pasos críticos y en escenarios largos de varios turnos. Esto hace que la comparación entre modelos sea bastante más justa que un simple aprobado/suspendido binario.

«Los agentes que cumplen mejor la tarea suelen ofrecer peor

experiencia de usuario, y viceversa».

Otro fallo notable afecta a las entidades nombradas. Una sola letra mal reconocida en un código de confirmación o en un número de vuelo puede romper la autenticación y hacer caer todo el escenario. Los autores señalan además que las operaciones de varios pasos resultan especialmente difíciles, por ejemplo cuando hay que reprogramar un vuelo y conservar a la vez servicios adicionales como equipaje y asientos.

La diferencia entre pass@3 y pass^3 fue grande en muchos sistemas: un agente puede resolver la tarea una vez, pero no hacerlo de forma estable. También es importante que la versión actual se limita a escenarios aéreos en inglés, por lo que queda por delante la ampliación a entornos ruidosos, acentos, otros idiomas y nuevos dominios.

Qué significa

El mercado de agentes de voz pasa de las demos vistosas a una validación de ingeniería más exigente. Si EVA u otros marcos similares se asientan, no ganarán los sistemas que simplemente suenan naturales, sino los que a la vez son precisos, breves y logran de forma repetible llevar la conversación a un resultado en escenarios reales, y no solo en ejecuciones aisladas afortunadas. Para las implantaciones corporativas, este cambio es especialmente importante.