AWS lança ToolSimulator para testar agentes de IA com segurança no Strands Evals

A AWS publicou o ToolSimulator, um framework para testar agentes de IA que trabalham com ferramentas externas. Em vez de chamadas arriscadas a APIs reais, ele usa um LLM para simular respostas dinamicamente: com segurança, em escala e sem vazamento de dados.

Qualquer agente de IA capaz de chamar APIs, ler bancos de dados ou controlar serviços externos enfrenta o mesmo problema nos testes: como verificar o comportamento do agente sem afetar a produção? As abordagens tradicionais não resolvem isso por completo. Chamadas diretas a uma API real são perigosas: o agente pode enviar um e-mail por engano, criar um registro no CRM ou repassar dados pessoais a um serviço externo. Mocks estáticos funcionam em cenários simples, mas desmoronam em diálogos de várias etapas, nos quais a resposta de uma ferramenta influencia a próxima solicitação do agente.

A AWS propôs um terceiro caminho: o ToolSimulator, parte do SDK Strands Evals. O framework usa um LLM para gerar respostas realistas das ferramentas, como se uma API de verdade respondesse à solicitação do agente. Nenhum dado sai para lugar nenhum: tudo acontece dentro de um ambiente de testes isolado.

Como funciona na prática. O desenvolvedor descreve as ferramentas que o agente usa: seu esquema, as respostas possíveis e os casos extremos. O ToolSimulator recebe essas descrições e, quando o agente chama uma ferramenta durante o teste, gera uma resposta plausível. O agente não sabe que está trabalhando com um simulador, e não com um serviço real. Isso permite testar cadeias de várias etapas: o agente recebe uma resposta, toma a decisão seguinte, chama a ferramenta de novo, e assim por todo o cenário.

Os principais recursos do framework se dividem em três frentes. Escala: o ToolSimulator permite rodar centenas de cenários de teste em paralelo, algo que, com APIs reais, exigiria custos enormes e carga de infraestrutura. Cobertura de casos extremos: é possível simular uma API indisponível, uma resposta lenta, um formato de dados inesperado ou um erro de autorização, e verificar como o agente se comporta em cada situação. Segurança: sem chamadas reais, não há risco de vazamento de dados pessoais nem de ações não intencionais em produção.

O ToolSimulator está disponível hoje como parte do Strands Evals SDK, o kit de ferramentas de código aberto da AWS para avaliar a qualidade de agentes de IA. O Strands Agents é um framework de agentes relativamente novo da AWS; o Strands Evals surgiu como componente complementar para testes. O ToolSimulator amplia esse kit com uma solução para um dos problemas mais espinhosos: testar de forma confiável agentes com dependências reais.

O problema afeta toda a indústria. À medida que os agentes de IA saem das demos e vão para produção, as exigências de confiabilidade aumentam de forma acentuada. Um agente que gerencia e-mail, CRM ou transações financeiras precisa se comportar de maneira previsível em qualquer condição, inclusive quando as ferramentas nas quais se apoia agem de forma fora do padrão. Antes de abordagens como o ToolSimulator, os desenvolvedores eram obrigados a escolher entre cobertura incompleta e o risco das chamadas a APIs reais em ambiente de testes.

Para quem desenvolve agentes, o ToolSimulator reduz a barreira para escrever testes abrangentes onde antes era complexo ou perigoso demais. As equipes poderão detectar bugs de integração mais rápido, verificar casos extremos de forma sistemática e lançar agentes com mais confiança no comportamento deles.

A ferramenta se encaixa numa tendência mais ampla: conforme o mercado de agentes amadurece, surgem soluções especializadas não só para criar agentes, mas também para testá-los e avaliá-los, e a AWS aposta em ocupar esse nicho.