Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarХабр: NLP→ original

Revisor de IA aprovou o erro de um agente: um único percentual de sucesso escondeu três defeitos diferentes

Um usuário pede para cancelar o pedido anterior, embora existam dois. O agente não pede esclarecimento, escolhe um por conta própria, cancela e relata sucesso. O revisor de IA confere a resposta com o banco de dados, vê a correspondência e aprova: ele avaliava a honestidade da descrição, e não o direito de agir sem perguntar. O autor da análise mostrou que um único percentual de sucesso mistura pelo menos três defeitos diferentes.

Processado por IA de Хабр: NLP; editado por Hamidun News
Revisor de IA aprovou o erro de um agente: um único percentual de sucesso escondeu três defeitos diferentes
Fonte: Хабр: NLP. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalХабр: NLP ↗
Editor-chefe
Dado-chave #1Teste a ação e a explicação separadamente
Dado-chave #2Exija esclarecimento em comandos ambíguos por meio de código, não do prompt
Dado-chave #3Não deixe o juiz de IA inventar motivos de reprovação sem regras

Imagine uma cena típica do suporte de uma loja virtual. Um cliente escreve para um agente: «Cancele o pedido anterior». Mas ele tem dois pedidos. O comportamento correto é óbvio para qualquer atendente humano: perguntar qual exatamente. Já o agente escolheu um em silêncio, cancelou e informou animadamente que estava tudo pronto. E uma segunda IA, que verificava as respostas, deu uma nota alta.

Essa história, tirada de uma análise publicada no Habr, é interessante porque não contém nenhuma mentira explícita. E, mesmo assim, o resultado é ruim.

Por que o revisor não notou o problema

O revisor comparou a mensagem do agente com o estado do banco de dados. O pedido de fato foi cancelado, a mensagem corresponde a isso, então tudo é honesto. Formalmente, ele está certo: o agente não mentiu sobre o que fez.

O problema está no que o juiz foi solicitado a avaliar. Sua tarefa era verificar com que precisão o agente descreveu a própria ação. A pergunta «o agente tinha o direito de agir sem esclarecimento?» não fazia parte dessa tarefa. Por isso, a avaliação positiva deixou passar um defeito que uma verificação programática separada detectou.

É uma armadilha clássica: o juiz responde à pergunta que lhe foi feita, não àquela que você tinha em mente.

Três defeitos diferentes sob um único percentual

O autor partiu de outra hipótese: achava que um pequeno acréscimo às instruções pioraria o desempenho do agente. O experimento não confirmou isso. Em compensação, a análise dos registros mostrou que, por trás do número geral de sucesso, escondem-se três problemas distintos, que se resolvem de maneiras diferentes.

Primeiro: o agente executou a ação sem o esclarecimento exigido, e o revisor, que avaliava as explicações, não o impediu. Aqui é preciso verificar o comportamento em si, e não o texto da resposta.

Segundo: o teste exigia escolher um código de resposta segundo uma regra que a instrução explicava de forma incompleta. Esse é um erro não do modelo, mas da formulação: o agente foi penalizado por algo que não lhe foi dito. Resolve-se corrigindo a instrução ou o teste.

Terceiro: o agente executou a operação corretamente, mas o revisor inventou um motivo de reprovação. Ou seja, o juiz fabricou uma objeção. Aqui é preciso corrigir os critérios de avaliação e limitar o juiz, para que ele não avalie o que não está nas regras.

Se olharmos apenas para o percentual médio, os três casos parecem iguais: «teste reprovado» ou «teste aprovado». Escolher o remédio certo com base nesse número é impossível.

O que fazer na prática

Primeiro, separe a avaliação da ação da avaliação da explicação. O fato do cancelamento do pedido, a chamada da ferramenta certa e a presença de uma pergunta de esclarecimento é melhor verificar por código, a partir dos logs e do estado do sistema. Isso é determinístico e não depende do «humor» do modelo.

Segundo, para comandos ambíguos, torne o esclarecimento uma etapa obrigatória do fluxo. Se o usuário tem dois pedidos e a solicitação não traz um identificador, o sistema deve exigir a pergunta. Confiar apenas na redação do prompt é arriscado.

Terceiro, dê ao juiz de IA uma rubrica estreita e explícita. Quanto menos liberdade ele tiver para «preencher lacunas», menos vezes inventará motivos de reprovação ou, ao contrário, aprovará o que não deveria.

Quarto, classifique as falhas por tipo. Para cada execução malsucedida, responda a três perguntas. O agente errou? A instrução ou o teste estava incompleto? O juiz errou? Só depois disso faz sentido mudar alguma coisa.

Limitações

Esta é a análise de um conjunto de experimentos com um único tipo de cenário, portanto não é possível extrair números universais. Mas o esquema em si é amplamente aplicável: sempre que uma IA verifica outra, vale perguntar o que exatamente está sendo verificado e o que fica fora de quadro. Um único percentual geral de sucesso é conveniente para um relatório, mas para depurar agentes é quase inútil.

História

Perguntas frequentes sobre a notícia

Por que o revisor não notou o problema?

O revisor comparou a mensagem do agente com o estado do banco de dados. O pedido de fato foi cancelado, a mensagem corresponde a isso, então tudo é honesto. Formalmente, ele está certo: o agente não mentiu sobre o que fez. O problema está no que o juiz foi solicitado a avaliar. Sua tarefa era verificar com que precisão o agente descreveu a própria ação. A pergunta «o agente tinha o direito de agir sem esclarecimento?» não fazia parte dessa tarefa.

O que se sabe sobre Três defeitos diferentes sob um único percentual?

O autor partiu de outra hipótese: achava que um pequeno acréscimo às instruções pioraria o desempenho do agente. O experimento não confirmou isso. Em compensação, a análise dos registros mostrou que, por trás do número geral de sucesso, escondem-se três problemas distintos, que se resolvem de maneiras diferentes. Primeiro: o agente executou a ação sem o esclarecimento exigido, e o revisor, que avaliava as explicações, não o impediu. Aqui é preciso verificar o comportamento em si, e não o texto da resposta.

O que fazer na prática?

Primeiro, separe a avaliação da ação da avaliação da explicação. O fato do cancelamento do pedido, a chamada da ferramenta certa e a presença de uma pergunta de esclarecimento é melhor verificar por código, a partir dos logs e do estado do sistema. Isso é determinístico e não depende do «humor» do modelo. Segundo, para comandos ambíguos, torne o esclarecimento uma etapa obrigatória do fluxo. Se o usuário tem dois pedidos e a solicitação não traz um identificador, o sistema deve exigir a pergunta.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…