Como medir o trabalho de um agente de IA em QA: a história de um benchmark

Quando um agente de IA trabalha em tarefas de teste, uma pergunta fica incômoda: ele realmente está melhor que ontem? Não dá para responder isso de qualquer jeito: são necessários números. Mikhail Fedorov, desenvolvedor do QA Assist, enfrentou esse problema de frente. O QA Assist é um sistema de 11 agentes de IA que cobrem juntos todo o ciclo de testes, da decomposição de requisitos até autotestes prontos. Mas como saber se o sistema melhorou depois da última atualização? No olhômetro, não é confiável.

Por que avaliar no olhômetro não funciona

A avaliação subjetiva pode falhar em qualquer ponto: ontem o agente encontrou 5 bugs e hoje encontrou 7, mas dá para ter certeza de que o sistema melhorou, e não de que o conjunto de testes simplesmente mudou? Versões diferentes do modelo, prompts diferentes e parâmetros diferentes de temperatura do LLM influenciam o resultado. Sem um benchmark sistemático, é difícil entender o que realmente ajuda.

Fedorov resolveu o problema de forma radical: montou um projeto de benchmark separado, no qual o agente trabalha com as mesmas regras, os mesmos requisitos e os mesmos casos de borda.

O que o benchmark faz

• Comparar diferentes versões do agente no mesmo conjunto de dados
• Testar o impacto de melhorias individuais do pipeline (prompt engineering, mudanças na lógica de decomposição)
• Experimentar com modelos: GPT-5.5 vs Claude vs outros
• Acompanhar o progresso ao longo do tempo, com visualização das melhorias
• Gerar um relatório completo com o percentual de bugs encontrados, omissões e falsos positivos

Importante: benchmark não significa um "conjunto de testes perfeito". Significa um conjunto de testes controlado, com o mínimo possível de variáveis e em que cada execução é reproduzível.

Artefatos de uma única execução

A cada execução, o agente prepara um pacote completo: requisitos extraídos e sua decomposição, cenários de teste com passos, código de autotestes pronto, relatório de cobertura e omissões, e um log das decisões aceitas e rejeitadas. Todos os artefatos ficam em um repositório público, onde é possível ver como o agente raciocina em diferentes exemplos. Isso ajuda não só a acompanhar o progresso, mas também a depurar: quando o agente erra, dá para ver em que etapa do pipeline e por quê.

O que isso significa

Para quem desenvolve ferramentas de QA, benchmarks se tornam obrigatórios: é a única maneira de ser honesto consigo mesmo sobre a qualidade do trabalho. O acesso aberto ao projeto de Fedorov mostra que essa transparência é possível. Outras equipes que trabalham com agentes de IA em testes agora sabem o que fazer desde o início.