AWS lanza ToolSimulator para probar agentes de IA de forma segura en Strands Evals

AWS ha publicado ToolSimulator, un framework para probar agentes de IA que trabajan con herramientas externas. En lugar de llamadas arriesgadas a APIs reales, usa un LLM para simular respuestas de forma dinámica: con seguridad, a escala y sin fugas de datos.

Cualquier agente de IA que pueda llamar a APIs, leer bases de datos o controlar servicios externos se enfrenta al mismo problema al probarse: ¿cómo verificar su comportamiento sin tocar producción? Los enfoques tradicionales no lo resuelven del todo. Las llamadas directas a una API real son peligrosas: el agente podría enviar un correo por error, crear un registro en el CRM o transmitir datos personales a un servicio externo. Los mocks estáticos sirven para escenarios simples, pero se desmoronan en diálogos de varios pasos, donde la respuesta de una herramienta influye en la siguiente solicitud del agente.

AWS propone una tercera vía: ToolSimulator, incluido en el SDK Strands Evals. El framework usa un LLM para generar respuestas realistas de las herramientas, como si una API real respondiera a la solicitud del agente. Ningún dato sale a ninguna parte: todo ocurre dentro de un entorno de pruebas aislado.

Cómo funciona en la práctica. El desarrollador describe las herramientas que usa el agente: su esquema, las respuestas posibles y los casos límite. ToolSimulator recibe estas descripciones y, cuando el agente llama a una herramienta durante la prueba, genera una respuesta verosímil. El agente no sabe que trabaja con un simulador y no con un servicio real. Así se pueden probar cadenas de varios pasos: el agente recibe una respuesta, toma la siguiente decisión, vuelve a llamar a la herramienta, y así durante todo el escenario.

Las capacidades clave del framework se agrupan en tres áreas. Escala: ToolSimulator permite ejecutar cientos de escenarios de prueba en paralelo, algo que con APIs reales exigiría enormes costes y carga de infraestructura. Cobertura de casos límite: se puede simular una API no disponible, una respuesta lenta, un formato de datos inesperado o un error de autorización, y comprobar cómo se comporta el agente en cada situación. Seguridad: sin llamadas reales no hay riesgo de fuga de datos personales ni de acciones no intencionadas en producción.

ToolSimulator está disponible hoy como parte de Strands Evals SDK, el conjunto de herramientas de código abierto de AWS para evaluar la calidad de los agentes de IA. Strands Agents es un framework de agentes relativamente nuevo de AWS; Strands Evals surgió como componente complementario para pruebas. ToolSimulator amplía este conjunto con una solución a uno de los problemas más espinosos: probar de forma fiable agentes con dependencias reales.

El problema afecta a todo el sector. A medida que los agentes de IA pasan de las demos a producción, los requisitos de fiabilidad aumentan bruscamente. Un agente que gestiona correo, un CRM o transacciones financieras debe comportarse de forma predecible en cualquier condición, también cuando las herramientas en las que se apoya se comportan de manera anómala. Antes de enfoques como ToolSimulator, los desarrolladores tenían que elegir entre una cobertura incompleta y el riesgo que conllevan las llamadas a APIs reales en un entorno de pruebas.

Para los desarrolladores de agentes, ToolSimulator reduce la barrera para escribir pruebas completas allí donde antes era demasiado complejo o peligroso. Los equipos podrán detectar antes los errores de integración, comprobar sistemáticamente los casos límite y lanzar agentes con más confianza en su comportamiento.

La herramienta encaja en una tendencia más amplia: a medida que madura el mercado de agentes, aparecen soluciones especializadas no solo para crearlos, sino también para probarlos y evaluarlos, y AWS apuesta por ocupar ese nicho.