AWS Strands Evals identifica automaticamente as causas de falhas em agentes de IA e sugere correções

A AWS lançou o Strands Evals, uma ferramenta para diagnosticar automaticamente falhas em agentes de IA. Os frameworks de eval tradicionais se limitam a registrar que o agente falhou. O Strands Evals vai além: identifica a causa raiz e sugere uma correção concreta no prompt de sistema, na definição da ferramenta ou na lógica de orquestração.

O problema: agentes quebram sem dar sinal

Agentes de IA são sistemas complexos, com múltiplas etapas. Eles chamam ferramentas, acessam APIs externas, interpretam resultados e decidem sozinhos qual será o próximo passo. Quando algo dá errado, a depuração vira trabalho de detetive. O agente deu uma resposta errada, mas onde exatamente está o defeito? No prompt de sistema? Na definição da ferramenta? Na lógica de planejamento? No tratamento da resposta da API externa?

Os frameworks de eval tradicionais medem a qualidade final, como "o agente falhou no teste", mas não explicam o motivo. Os desenvolvedores precisam revisar manualmente centenas de linhas de log, levantar hipóteses e testar na base da tentativa e erro. Em agentes complexos, com cadeias de 10–15 etapas, esse tipo de depuração pode levar dias.

O Strands Evals ataca esse problema ao incluir no processo de eval um diagnóstico automático com recomendações concretas.

O que o Strands Evals faz

A ferramenta funciona com funções detectoras. Elas analisam os traces reais de execução do agente e entregam um diagnóstico estruturado. Os principais recursos são:

• Categorização de falhas: classifica o tipo de erro, como escolha errada de ferramenta, descumprimento de instruções, alucinação, erro na lógica de planejamento ou tratamento incorreto de respostas
• Níveis de confiança: cada categoria recebe um confidence score, para que o desenvolvedor saiba o quanto pode confiar no diagnóstico
• Cadeias de causa e efeito: o sistema mostra qual causa raiz gerou quais sintomas posteriores na cadeia de ações do agente
• Recomendações de correção: o detector indica diretamente o que precisa ser ajustado e onde, seja no prompt de sistema, na definição da ferramenta ou na lógica de orquestração

"Saída estruturada com falhas categorizadas, cadeias causais e recomendações de correção para cada execução de teste", descreve a equipe do AWS ML

Blog.

Como integrar ao pipeline de eval

O Strands Evals se encaixa no processo de avaliação existente sem exigir grandes mudanças na infraestrutura. O desenvolvedor chama as funções detectoras em cada execução de teste e recebe um diagnóstico automático ao lado das métricas de qualidade habituais, como acurácia, F1 e task completion rate.

O valor prático aparece sobretudo em suítes de teste grandes. Em vez de analisar centenas de traces manualmente, a equipe enxerga um panorama agregado. Se 70% dos erros do tipo "escolha errada de ferramenta" se concentram em um determinado tipo de requisição, o problema provavelmente está no prompt de sistema, e não na implementação da ferramenta. São correções bem diferentes, com esforços bem diferentes: ajustar algumas linhas do prompt contra refatorar o código da ferramenta.

Para equipes que fazem testes de regressão em agentes, a ferramenta também permite acompanhar a evolução ao longo do tempo: quais classes de erro aumentam depois de uma atualização do prompt e quais desaparecem.

Contexto: o Strands SDK

O Strands é um SDK de agentes open source da AWS, anunciado em 2025. Ele permite criar sistemas agênticos com modelos do Amazon Bedrock e outros LLMs, oferece suporte a padrões multiagente e se integra a ferramentas pelo padrão MCP. O Strands Evals é o componente de eval desse framework, que a AWS vem desenvolvendo ativamente.

À medida que os sistemas agênticos saem do protótipo e chegam à produção, as ferramentas de diagnóstico se tornam uma parte crítica da stack de DevOps para IA. Um agente que interpreta mal uma tarefa ou escolhe a ferramenta errada pode ir além de uma resposta incorreta e executar uma ação indesejada, com consequências reais.

O que isso significa

O Strands Evals preenche uma das principais lacunas no trabalho com agentes de IA em produção: a distância entre "algo deu errado" e "é exatamente isto que falhou, e é assim que se corrige". Para equipes que constroem sistemas agênticos na AWS, a ferramenta encurta o ciclo de depuração e reduz a dependência da análise manual de logs. Além disso, transforma o processo de eval em parte integral do pipeline de CI/CD.