AWS Strands Evals detecta automáticamente las causas de los fallos de los agentes de IA y propone correcciones

AWS ha lanzado Strands Evals, una herramienta para diagnosticar automáticamente los fallos de los agentes de IA. A diferencia de los frameworks de evaluación estándar, no se limita a registrar que algo ha fallado. Identifica la causa raíz y propone una corrección concreta en el prompt de sistema, en la definición de la herramienta o en la lógica de orquestación.

El problema: los agentes fallan sin que se note

Los agentes de IA son sistemas complejos de varios pasos. Llaman a herramientas, consultan API externas, interpretan los resultados y deciden por sí mismos cuál es el siguiente paso. Cuando algo sale mal, la depuración se convierte en una investigación detectivesca. El agente ha dado una respuesta incorrecta, pero ¿dónde se ha roto exactamente? ¿En el prompt de sistema? ¿En la definición de la herramienta? ¿En la lógica de planificación? ¿En cómo se procesa la respuesta de la API externa?

Los frameworks de evaluación tradicionales miden la calidad final («el agente no ha superado la prueba»), pero no explican por qué. Los desarrolladores tienen que revisar a mano cientos de líneas de logs, plantear hipótesis y experimentar por ensayo y error. En agentes complejos con cadenas de 10–15 pasos, esta depuración puede alargarse durante días.

Strands Evals aborda este problema al añadir al proceso de evaluación un diagnóstico automático con recomendaciones concretas.

Qué puede hacer Strands Evals

La herramienta funciona mediante funciones detectoras que analizan trazas reales de ejecución del agente y generan un diagnóstico estructurado. Sus capacidades principales son:

• Categorización de fallos: clasifica el tipo de error: elección incorrecta de herramienta, incumplimiento de instrucciones, alucinación, error en la lógica de planificación o procesamiento incorrecto de respuestas
• Puntuaciones de confianza: cada categoría recibe un confidence score para que el desarrollador sepa hasta qué punto es fiable el diagnóstico
• Cadenas de causa y efecto: el sistema muestra qué causa raíz provocó qué síntomas posteriores en la cadena de acciones del agente
• Recomendaciones de corrección: el detector indica directamente qué hay que corregir y dónde: en el prompt de sistema, en la definición de la herramienta o en la lógica de orquestación

«Una salida estructurada con fallos categorizados, cadenas causales y recomendaciones de corrección para cada ejecución de prueba», así describe la herramienta el equipo de AWS ML

Blog.

Cómo integrarlo en el pipeline de evaluación

Strands Evals se integra en el proceso de evaluación existente sin necesidad de rehacer a fondo la infraestructura. El desarrollador llama a las funciones detectoras en cada ejecución de prueba y obtiene un diagnóstico automático junto a las métricas de calidad habituales: precisión, F1 y task completion rate.

Su valor práctico se nota especialmente con baterías de pruebas grandes. En lugar de revisar a mano cientos de trazas, el equipo obtiene una visión agregada. Si el 70% de los errores del tipo «elección incorrecta de herramienta» se concentra en un tipo concreto de consultas, lo más probable es que el problema esté en el prompt de sistema y no en la implementación de la propia herramienta. Son correcciones radicalmente distintas, con esfuerzos muy diferentes: retocar unas pocas líneas del prompt frente a refactorizar el código de la herramienta.

Para los equipos que hacen pruebas de regresión de agentes, la herramienta también permite seguir la evolución: qué tipos de errores aumentan tras actualizar el prompt y cuáles desaparecen.

Contexto: Strands SDK

Strands es el SDK abierto de AWS para agentes, anunciado en 2025. Permite construir sistemas agénticos sobre modelos de Amazon Bedrock y otros LLM, y admite patrones multiagente e integración con herramientas mediante el estándar MCP. Strands Evals es el componente de evaluación de este framework, que AWS está desarrollando activamente.

A medida que los sistemas agénticos pasan de prototipo a producción, las herramientas de diagnóstico se convierten en una pieza crítica del stack de DevOps para IA. Un agente que interpreta mal una tarea o elige la herramienta equivocada puede dar una respuesta incorrecta y, además, ejecutar una acción no deseada con consecuencias reales.

Qué significa

Strands Evals cubre uno de los principales vacíos en el trabajo con agentes de IA en producción: la distancia entre «algo ha salido mal» y «esto es exactamente lo que falla y así se corrige». Para los equipos que construyen sistemas agénticos en AWS, acorta el ciclo de depuración, reduce la dependencia del análisis manual de logs y convierte la evaluación en una parte de pleno derecho del pipeline de CI/CD.