AWS abre Agent-EvalKit: evaluación sistemática de agentes de IA en seis fases

AWS ha lanzado Agent-EvalKit, una herramienta de código abierto (Apache 2.0) para evaluar de forma sistemática agentes de IA. El framework se integra con Claude Code, Kiro CLI y Kilo Code y somete al agente a seis fases de verificación consecutivas.

Por qué hace falta evaluar a los agentes

Desarrollar un agente de IA no es difícil. Saber hasta qué punto funciona bien es otra cosa. Un agente puede devolver respuestas verosímiles y, al mismo tiempo, invocar herramientas innecesarias, gastar muchas veces más tokens de los necesarios u omitir pasos críticos en su cadena de razonamiento. Las métricas estándar, como la accuracy, no sirven aquí: un agente es un sistema dinámico en el que importa no solo el punto final, sino todo el camino hasta él. El registro de herramientas, el orden de las llamadas y las decisiones intermedias influyen en la fiabilidad del agente en producción. Por eso el equipo de AWS creó una infraestructura de evaluación especializada.

Las seis fases de verificación

El framework somete al agente, en orden, a seis etapas:

• Preparación de la tarea — creación de un conjunto de casos de prueba con datos de entrada, contexto y respuestas de referencia
• Ejecución del agente — ejecución de las tareas en un entorno controlado con registro completo de la traza
• Evaluación de la trayectoria — comprobación de si el agente llamó a las herramientas correctas en el orden correcto
• Evaluación de la respuesta final — comparación del resultado con la referencia en contenido, estructura y precisión
• Análisis de seguridad — detección de comportamientos indeseados y de salidas del marco de la tarea asignada
• Generación del informe — agregación de métricas y cálculo de una puntuación final desglosada por categorías

Cada fase se puede configurar por separado: es posible ejecutar solo la evaluación de la trayectoria, solo el informe final o el ciclo completo.

Ejemplo: un agente de viajes

Como demostración, AWS presenta un agente creado con Strands Agents SDK y que funciona sobre Amazon Bedrock. El agente recibe una petición del usuario, por ejemplo «Planifica un viaje de siete días a Tokio con un presupuesto de $2000», busca vuelos y hoteles mediante herramientas externas, analiza los puntos de interés y devuelve un itinerario final.

Agent-EvalKit comprueba este agente en las seis fases: verifica que la herramienta de búsqueda de vuelos se llamó antes que la de hoteles, que la respuesta final contiene fechas y precios concretos, que el agente no se salió del presupuesto y que no inventó vuelos inexistentes. Una verificación así detecta errores que pasan inadvertidos en las pruebas manuales habituales.

Integración con asistentes de IA

La diferencia fundamental de Agent-EvalKit frente a sus alternativas es su profunda integración con los asistentes de programación con IA. Claude Code, Kiro CLI y Kilo Code pueden lanzar la evaluación directamente en el entorno de trabajo del desarrollador, sin cambiar a una plataforma aparte ni configurar un pipeline independiente.

El framework se distribuye bajo licencia Apache 2.0. El código fuente está abierto en GitHub y la documentación incluye ejemplos listos para varios frameworks de IA populares.

«Queríamos crear una infraestructura de evaluación que los desarrolladores pudieran conectar en unos minutos, sin construirla desde cero», escriben los autores en el blog de AWS

Machine Learning.

Qué significa

Contar con una herramienta de evaluación estandarizada es un paso importante hacia el uso industrial de los agentes de IA. Sin la posibilidad de medir de forma sistemática la calidad de un agente en tareas reales, es difícil justificar su uso en procesos de negocio críticos. Agent-EvalKit propone una metodología concreta en lugar de las pruebas manuales.