Revisor de IA aprovou o erro de um agente: um único percentual de sucesso escondeu três defeitos diferentes
Um usuário pede para cancelar o pedido anterior, embora existam dois. O agente não pede esclarecimento, escolhe um por conta própria, cancela e relata sucesso. O revisor de IA confere a resposta com o banco de dados, vê a correspondência e aprova: ele avaliava a honestidade da descrição, e não o direito de agir sem perguntar. O autor da análise mostrou que um único percentual de sucesso mistura pelo menos três defeitos diferentes.
Processado por IA de Хабр: NLP; editado por Hamidun News
Imagine uma cena típica do suporte de uma loja virtual. Um cliente escreve para um agente: «Cancele o pedido anterior». Mas ele tem dois pedidos. O comportamento correto é óbvio para qualquer atendente humano: perguntar qual exatamente. Já o agente escolheu um em silêncio, cancelou e informou animadamente que estava tudo pronto. E uma segunda IA, que verificava as respostas, deu uma nota alta.
Essa história, tirada de uma análise publicada no Habr, é interessante porque não contém nenhuma mentira explícita. E, mesmo assim, o resultado é ruim.
Por que o revisor não notou o problema
O revisor comparou a mensagem do agente com o estado do banco de dados. O pedido de fato foi cancelado, a mensagem corresponde a isso, então tudo é honesto. Formalmente, ele está certo: o agente não mentiu sobre o que fez.
O problema está no que o juiz foi solicitado a avaliar. Sua tarefa era verificar com que precisão o agente descreveu a própria ação. A pergunta «o agente tinha o direito de agir sem esclarecimento?» não fazia parte dessa tarefa. Por isso, a avaliação positiva deixou passar um defeito que uma verificação programática separada detectou.
É uma armadilha clássica: o juiz responde à pergunta que lhe foi feita, não àquela que você tinha em mente.
Três defeitos diferentes sob um único percentual
O autor partiu de outra hipótese: achava que um pequeno acréscimo às instruções pioraria o desempenho do agente. O experimento não confirmou isso. Em compensação, a análise dos registros mostrou que, por trás do número geral de sucesso, escondem-se três problemas distintos, que se resolvem de maneiras diferentes.
Primeiro: o agente executou a ação sem o esclarecimento exigido, e o revisor, que avaliava as explicações, não o impediu. Aqui é preciso verificar o comportamento em si, e não o texto da resposta.
Segundo: o teste exigia escolher um código de resposta segundo uma regra que a instrução explicava de forma incompleta. Esse é um erro não do modelo, mas da formulação: o agente foi penalizado por algo que não lhe foi dito. Resolve-se corrigindo a instrução ou o teste.
Terceiro: o agente executou a operação corretamente, mas o revisor inventou um motivo de reprovação. Ou seja, o juiz fabricou uma objeção. Aqui é preciso corrigir os critérios de avaliação e limitar o juiz, para que ele não avalie o que não está nas regras.
Se olharmos apenas para o percentual médio, os três casos parecem iguais: «teste reprovado» ou «teste aprovado». Escolher o remédio certo com base nesse número é impossível.
O que fazer na prática
Primeiro, separe a avaliação da ação da avaliação da explicação. O fato do cancelamento do pedido, a chamada da ferramenta certa e a presença de uma pergunta de esclarecimento é melhor verificar por código, a partir dos logs e do estado do sistema. Isso é determinístico e não depende do «humor» do modelo.
Segundo, para comandos ambíguos, torne o esclarecimento uma etapa obrigatória do fluxo. Se o usuário tem dois pedidos e a solicitação não traz um identificador, o sistema deve exigir a pergunta. Confiar apenas na redação do prompt é arriscado.
Terceiro, dê ao juiz de IA uma rubrica estreita e explícita. Quanto menos liberdade ele tiver para «preencher lacunas», menos vezes inventará motivos de reprovação ou, ao contrário, aprovará o que não deveria.
Quarto, classifique as falhas por tipo. Para cada execução malsucedida, responda a três perguntas. O agente errou? A instrução ou o teste estava incompleto? O juiz errou? Só depois disso faz sentido mudar alguma coisa.
Limitações
Esta é a análise de um conjunto de experimentos com um único tipo de cenário, portanto não é possível extrair números universais. Mas o esquema em si é amplamente aplicável: sempre que uma IA verifica outra, vale perguntar o que exatamente está sendo verificado e o que fica fora de quadro. Um único percentual geral de sucesso é conveniente para um relatório, mas para depurar agentes é quase inútil.
- 9 de nov. de 2026Google divide a elaboração de especificações com IA em dois papéis no plugin EGM
- 12 de nov. de 2026Usuários do Claude Code aprovam 93% das solicitações — a supervisão está virando uma formalidade
- 6 de nov. de 2026Melhores agentes de IA passam em até 98% dos testes, mas entregam um produto funcional em no máximo 65% das builds
- 11 de ago. de 2026NeurIPS 2026 aprova 102 workshops: pela primeira vez, a conferência acontece em três cidades do mundo
Perguntas frequentes sobre a notícia
Por que o revisor não notou o problema?
O revisor comparou a mensagem do agente com o estado do banco de dados. O pedido de fato foi cancelado, a mensagem corresponde a isso, então tudo é honesto. Formalmente, ele está certo: o agente não mentiu sobre o que fez. O problema está no que o juiz foi solicitado a avaliar. Sua tarefa era verificar com que precisão o agente descreveu a própria ação. A pergunta «o agente tinha o direito de agir sem esclarecimento?» não fazia parte dessa tarefa.
O que se sabe sobre Três defeitos diferentes sob um único percentual?
O autor partiu de outra hipótese: achava que um pequeno acréscimo às instruções pioraria o desempenho do agente. O experimento não confirmou isso. Em compensação, a análise dos registros mostrou que, por trás do número geral de sucesso, escondem-se três problemas distintos, que se resolvem de maneiras diferentes. Primeiro: o agente executou a ação sem o esclarecimento exigido, e o revisor, que avaliava as explicações, não o impediu. Aqui é preciso verificar o comportamento em si, e não o texto da resposta.
O que fazer na prática?
Primeiro, separe a avaliação da ação da avaliação da explicação. O fato do cancelamento do pedido, a chamada da ferramenta certa e a presença de uma pergunta de esclarecimento é melhor verificar por código, a partir dos logs e do estado do sistema. Isso é determinístico e não depende do «humor» do modelo. Segundo, para comandos ambíguos, torne o esclarecimento uma etapa obrigatória do fluxo. Se o usuário tem dois pedidos e a solicitação não traz um identificador, o sistema deve exigir a pergunta.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.