AWS Strands Evals encontra automaticamente as causas de falhas em agentes de IA e sugere correções

AWS lançou Strands Evals — uma ferramenta para diagnóstico automático de falhas em agentes de IA. Ao contrário dos frameworks de avaliação padrão, ela não apenas registra o fato da falha, mas determina a causa raiz e sugere correções específicas — no prompt do sistema, na definição da ferramenta ou na lógica de orquestração.

Problema: agentes quebram silenciosamente

Agentes de IA são sistemas complexos de múltiplas etapas. Eles chamam ferramentas, acessam APIs externas, interpretam resultados e tomam decisões independentemente sobre o próximo passo. Quando algo dá errado, a depuração se torna uma investigação detetivesca: o agente deu uma resposta incorreta — mas exatamente onde quebrou?

No prompt do sistema? Na definição da ferramenta? Na lógica de planejamento?

Em como a resposta de uma API externa é processada? Frameworks de avaliação tradicionais registram a qualidade final — "o agente falhou no teste" — mas não explicam por quê. Os desenvolvedores têm que revisar manualmente centenas de linhas de logs, construir hipóteses e experimentar por tentativa e erro.

Com agentes complexos com cadeias de 10–15 etapas, essa depuração pode se estender por dias. Strands Evals resolve esse problema adicionando diagnóstico automático ao processo de avaliação com recomendações específicas.

O que Strands Evals pode fazer

A ferramenta funciona através de funções de detecção que analisam rastreamentos reais de execução de agentes e retornam um diagnóstico estruturado. Recursos principais:

• Categorização de falhas — classifica o tipo de erro: seleção incorreta de ferramenta, falha no seguimento de instruções, alucinação, erro na lógica de planejamento, manipulação incorreta de respostas
• Pontuações de confiança — cada categoria recebe uma pontuação de confiança para que o desenvolvedor entenda a confiabilidade do diagnóstico
• Cadeias causais — o sistema mostra qual causa raiz levou a quais sintomas descendentes na cadeia de ações do agente
• Recomendações de correção — o detector indica diretamente o que precisa ser corrigido e onde: no prompt do sistema, na definição da ferramenta ou na lógica de orquestração

"Saída estruturada com falhas categorizadas, cadeias causais e recomendações de correção — para cada execução de teste," — descreve o time do AWS ML

Blog a ferramenta.

Como integrar no eval-pipeline

Strands Evals se integra ao processo de avaliação existente sem reformulação profunda da infraestrutura. O desenvolvedor chama funções de detecção em cada execução de teste e obtém diagnóstico automático junto com métricas de qualidade normais — precisão, F1, taxa de conclusão de tarefas. O valor prático é particularmente notável quando se trabalha com grandes suites de testes.

Em vez de analisar manualmente centenas de rastreamentos, o time vê uma imagem agregada. Se 70% dos erros da classe "seleção incorreta de ferramenta" se concentram em torno de consultas de um certo tipo — o problema provavelmente está no prompt do sistema, não na implementação da ferramenta em si. Essas são correções fundamentalmente diferentes com diferentes níveis de esforço: editar algumas linhas do prompt versus refatorar código da ferramenta.

Para equipes que fazem testes de regressão de agentes, a ferramenta também permite rastrear a dinâmica: quais classes de erro crescem após uma atualização de prompt e quais desaparecem.

Contexto: Strands SDK

Strands é um SDK de agente de código aberto da AWS anunciado em 2025. Permite que você construa sistemas de agentes baseados em modelos Amazon Bedrock e outros LLMs, suporta padrões multiagente e integra ferramentas através do MCP padrão. Strands Evals é o componente de avaliação deste framework, que a AWS está desenvolvendo ativamente. Conforme os sistemas de agentes evoluem de protótipos para produção, ferramentas de diagnóstico estão se tornando uma parte crítica da pilha de DevOps para IA. Um agente que interpreta mal uma tarefa ou seleciona a ferramenta errada pode não apenas dar uma resposta incorreta, mas executar uma ação indesejável com consequências reais.

O que isso significa

Strands Evals fecha uma das principais lacunas no trabalho com agentes de IA em produção: a desconexão entre "algo deu errado" e "aqui está exatamente o quê e como consertá-lo." Para equipes que constroem sistemas de agentes na AWS, isso reduz o ciclo de depuração, diminui a dependência de análise manual de logs e faz do processo de avaliação uma parte completa do pipeline de CI/CD.