AWS abre o Agent-EvalKit: avaliação sistemática de agentes de IA em seis fases

A AWS lançou o Agent-EvalKit, ferramenta de código aberto (Apache 2.0) para avaliar agentes de IA de forma sistemática. O framework se integra ao Claude Code, Kiro CLI e Kilo Code e conduz o agente por seis fases de verificação sequenciais.

Por que avaliar agentes

Desenvolver um agente de IA não é difícil. Saber o quão bem ele funciona é outra história. Um agente pode devolver respostas plausíveis e, ao mesmo tempo, chamar ferramentas desnecessárias, gastar muitas vezes mais tokens do que o preciso ou pular etapas críticas na cadeia de raciocínio. Métricas padrão, como accuracy, não funcionam aqui: o agente é um sistema dinâmico, em que importa não só o ponto final, mas todo o caminho até ele. O log de ferramentas, a ordem das chamadas e as decisões intermediárias afetam a confiabilidade do agente em produção. Por isso a equipe da AWS criou uma infraestrutura de avaliação especializada.

As seis fases de verificação

O framework executa o agente, em sequência, por seis etapas:

• Preparação da tarefa — montagem de um conjunto de casos de teste com dados de entrada, contexto e respostas de referência
• Execução do agente — realização das tarefas em ambiente controlado, com registro completo do trace
• Avaliação da trajetória — verificação de se o agente chamou as ferramentas certas na ordem correta
• Avaliação da resposta final — comparação do resultado com a referência em conteúdo, estrutura e precisão
• Análise de segurança — checagem de comportamentos indesejados e de extrapolação do escopo da tarefa
• Geração do relatório — agregação das métricas e cálculo de uma nota final com detalhamento por categoria

Cada fase pode ser configurada separadamente: é possível rodar só a avaliação da trajetória, só o relatório final ou o ciclo completo.

Exemplo: um agente de viagens

Como demonstração, a AWS mostra um agente escrito com o Strands Agents SDK e executado no Amazon Bedrock. O agente recebe um pedido do usuário, por exemplo "Planeje uma viagem de sete dias a Tóquio com orçamento de $2000", busca voos e hotéis por meio de ferramentas externas, analisa pontos turísticos e devolve um roteiro final.

O Agent-EvalKit verifica esse agente nas seis fases: confirma que a ferramenta de busca de voos foi chamada antes da de hotéis, que a resposta final traz datas e preços concretos, que o agente não estourou o orçamento e não inventou voos inexistentes. Esse tipo de checagem revela erros que passam despercebidos nos testes manuais comuns.

Integração com assistentes de IA

A principal diferença do Agent-EvalKit em relação a ferramentas semelhantes é a integração profunda com assistentes de programação com IA. Claude Code, Kiro CLI e Kilo Code podem iniciar a avaliação diretamente no ambiente de trabalho do desenvolvedor, sem trocar para outra plataforma nem configurar um pipeline separado.

O framework é distribuído sob a licença Apache 2.0. O código-fonte está aberto no GitHub, e a documentação traz exemplos prontos para vários frameworks de IA populares.

"Queríamos criar uma infraestrutura de avaliação que os desenvolvedores pudessem conectar em poucos minutos, sem construí-la do zero", escrevem os autores no blog da AWS

Machine Learning.

O que isso significa

Uma ferramenta de avaliação padronizada é um passo importante para o uso industrial de agentes de IA. Sem poder medir de forma sistemática a qualidade de um agente em tarefas reais, é difícil justificar seu uso em processos de negócio críticos. O Agent-EvalKit propõe uma metodologia concreta no lugar do teste manual.