AWS abre o UAEF: teste gratuito para agentes de IA com 36 métricas

É uma história conhecida: você ajusta uma linha do prompt de sistema, o agente passa a responder melhor à sua pergunta de teste favorita e você publica a mudança. Uma semana depois, descobre-se que ele passou a confundir argumentos ao chamar uma API interna e responde com confiança demais a parte das solicitações. Ninguém percebeu, porque o agente era avaliado a olho. A AWS lançou o UAEF, uma ferramenta gratuita e de código aberto criada justamente para esse cenário.

Que problema o UAEF resolve

O código comum é verificado com testes: você altera uma função, roda a bateria e vê vermelho. Com agentes não funciona assim. O resultado depende do modelo, do prompt, do conjunto de ferramentas e até da ordem dos passos que o agente escolheu desta vez. Trocou por um modelo mais novo ou mais barato, e em alguns pontos a qualidade subiu, enquanto em outros caiu de forma imperceptível.

Segundo o anúncio, o UAEF avalia o agente em 36 dimensões. Elas cobrem um amplo espectro: de como o agente usa ferramentas até a segurança. O recurso-chave é que a ferramenta compara estados e mostra se as coisas pioraram após a última edição do prompt ou a troca de modelo. É exatamente a regressão que costuma ser encontrada pelos usuários.

O que se sabe até agora

A fonte original traz poucos detalhes, então nos baseamos apenas no que foi confirmado:

• a ferramenta é gratuita e aberta, lançada pela Amazon Web Services;
• são 36 verificações, que cobrem tanto a qualidade do trabalho quanto a segurança;
• funciona com vários frameworks de agentes, ou seja, não exige reescrever o agente para um stack específico;
• sinaliza quando uma mudança de prompt ou de modelo piorou o agente.

O último ponto é mais importante que os demais. Para muitas equipes, o que falta não é um relatório bonito, mas uma resposta simples à pergunta: dá para publicar esta versão? Se a ferramenta dá essa resposta automaticamente, é realista incorporá-la ao processo.

Como aplicar na prática

Imagine um agente de suporte que busca um pedido, verifica o status da entrega e, se necessário, processa um reembolso. Hoje ele roda em um modelo. Você quer migrar para outro, um terço mais barato. Sem um conjunto de regressão, você compara uma dezena de conversas manualmente e torce pelo melhor.

Com uma ferramenta como o UAEF, a lógica é outra:

1. Registre a versão atual do agente como linha de base.
2. Rode a mesma avaliação no novo modelo ou no novo prompt.
3. Veja em quais métricas houve queda, por exemplo na correção das chamadas de ferramentas ou na segurança.
4. Decida se a economia justifica a queda encontrada.

Se você já tem CI, faz sentido colocar essa verificação antes do lançamento de qualquer mudança de prompt, e não apenas antes da troca de modelo. Prompts quebram o comportamento com a mesma frequência.

Para o produto, isso dá uma linguagem para discutir qualidade: em vez de "parece que melhorou", é possível dizer "melhor nessas dimensões, pior nessas outras". Para o fundador, é uma forma de não ficar preso a um único fornecedor de modelos, porque trocar de provedor deixa de ser um salto no escuro.

O que ainda falta

Há ressalvas. A descrição disponível não revela como exatamente as métricas são calculadas, quais frameworks são suportados de fábrica, se são necessários cenários de referência próprios e quanto custa uma execução considerando as chamadas aos modelos avaliadores. Isso terá de ser verificado no repositório e na documentação.

Outro alerta: 36 métricas universais não substituem testes para o seu processo de negócio. Elas pegam bem as falhas gerais, mas não sabem que, na sua empresa, um reembolso acima de determinado valor deve passar por aprovação manual. Esses cenários você ainda precisará escrever por conta própria.

Ainda assim, a direção é certa. A avaliação de agentes continua sendo o ponto fraco da maioria das equipes, e o surgimento de uma ferramenta gratuita de um grande fornecedor de nuvem, que funciona sobre diferentes frameworks, reduz a barreira de entrada. O passo prático é simples: pegue seu agente mais importante, rode-o no UAEF e salve o resultado como ponto de referência antes da próxima mudança de prompt.