Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

AutoJudge da Sber identifica o agente causador do erro em 67% dos casos, contra 55%

Em uma cadeia de agentes de IA, um erro inicial, como um número lido de forma incorreta, chega até o final como se fosse uma solução comum. O AutoJudge, da Sber AI Lab, monta sozinho os juízes para cada execução e, a partir do log, aponta o agente que errou primeiro. No teste Who&When, com o mesmo GPT-4o, o agente culpado foi encontrado em 67,24% dos casos, contra 55,17% antes. Por isso, é preciso verificar o caminho inteiro, e não apenas a resposta final.

Processado por IA de Habr AI; editado por Hamidun News
AutoJudge da Sber identifica o agente causador do erro em 67% dos casos, contra 55%
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
O meta-agente monta os juízesum pipeline separado para cada execução do sistema
Modo econômicoum único pipeline para todo o conjunto, com adaptação menos precisa
Dado-chave #3Se os juízes divergirem, o agregador relê o log original dos passos

Imagine um sistema com vários agentes de IA. O primeiro extraiu incorretamente um número do documento, o segundo calculou o resultado com base nesse número e o terceiro montou o relatório com cuidado. Cada etapa parece razoável, mas a resposta final está errada, e não dá para descobrir, pelo texto final, quem errou primeiro.

A equipe de pesquisa aplicada da Sber AI Lab propôs o AutoJudge: um sistema que monta sozinho um conjunto de "juízes", que analisam o log de execução dos agentes e indicam em qual etapa e em qual agente ocorreu o erro. No teste Who&When, em que é preciso apontar o agente culpado com base no histórico da execução, a precisão com o mesmo modelo GPT-4o subiu de 55,17% para 67,24%.

Por que verificar apenas a resposta final não basta

Enquanto o LLM apenas responde em um chat, o erro ainda pode ser percebido a olho nu. Mas quando a resposta é gravada na memória, vira entrada para a etapa seguinte ou dispara uma ação, a verificação manual deixa de funcionar. Por isso, a detecção de alucinações, ou seja, a busca automática por afirmações que não existem nos dados do sistema, passa a fazer parte do fluxo de trabalho.

No RAG, o caso típico é chamado de alucinação contextual. O documento diz: "Participaram do estudo 120 pessoas". O modelo responde: "…divididas igualmente entre os grupos de controle e experimental". O número foi tirado da fonte, mas a divisão igualitária foi inventada pelo modelo. O que importa não é se a afirmação é verdadeira em si, e sim se ela é confirmada pelo que o sistema efetivamente recebeu.

Para uma resposta isolada, existem três famílias de métodos:

  • Estimativa de incerteza. Analisam as probabilidades dos tokens ou o grau de divergência entre respostas repetidas. Não exige um modelo separado, mas confiança não é sinônimo de correção: um LLM pode errar com muita segurança.
  • Sondagem de estados internos. Sobre as representações ocultas do modelo, treina-se um pequeno classificador. Se o gerador só está disponível por API, usa-se um modelo aberto substituto. É preciso um mínimo de 300 a 500 exemplos rotulados.
  • Modelos juízes. São um classificador compacto baseado em BERT ou um LLM generativo atuando como juiz. O LLM é mais flexível e serve quando há poucos rótulos, mas custa mais. Para ajustar o juiz, são necessários pelo menos 1.000 exemplos.

Para não criar uma infraestrutura específica para cada método, a Sber AI Lab desenvolveu a biblioteca SIRIN. Ela oferece uma interface única para as três abordagens, funciona com modelos abertos e fechados e procura o problema na resposta inteira ou em um trecho específico. Além disso, verifica se os documentos encontrados são suficientes para responder, ainda antes da geração: se não forem, é possível repetir a busca ou recusar a resposta.

Como o AutoJudge verifica o histórico de trabalho dos agentes

Em um sistema multiagente, o objeto de verificação é outro: todo o histórico de mensagens dos agentes, chamadas de ferramentas e seus resultados. Às alucinações somam-se erros de planejamento, de uso de ferramentas, de comunicação e de agregação. Os métodos existentes para avaliar esses históricos costumam estar vinculados a uma lista específica de tipos de erro e a um pipeline de verificação predefinido. Ao trocar o sistema ou os critérios, tudo precisa ser projetado de novo.

O AutoJudge recebe como entrada o histórico de execução, uma taxonomia de avaliação (ou seja, a lista de tipos de erro a procurar) e o esquema do resultado desejado. Em seguida, um meta-agente analisa a tarefa e cria sozinho um conjunto de juízes intermediários especializados e um agregador final. Os juízes examinam diferentes etapas do trabalho, e o agregador compara as conclusões deles com os dados originais. Não se trata de uma simples votação: se as avaliações divergem, o agregador volta ao histórico original e resolve a contradição.

Existem dois modos. No principal, um pipeline separado é criado para cada execução: custa mais, mas se adapta melhor ao comportamento dos agentes. No econômico, um único pipeline é reutilizado em todo o conjunto de dados. Nos experimentos, a adaptação a cada execução costumou ser mais útil, sobretudo quando os agentes se comportam de maneiras diferentes.

Outro problema é o tamanho dos logs. As mensagens dos agentes junto com os resultados das ferramentas podem não caber no contexto de cada juiz. Por isso, o AutoJudge consegue trabalhar tanto com o histórico completo quanto com uma versão resumida: os juízes veem os passos comprimidos, e o original necessário é buscado pontualmente em um armazenamento externo.

O que fazer com isso na prática

O ganho de 55,17% para 67,24% foi obtido com o mesmo GPT-4o, então ele não pode ser explicado por um modelo mais forte. O teste também foi feito em outros conjuntos de dados: os pipelines construídos dinamicamente continuaram competitivos e frequentemente superaram as variantes fixas.

Os autores não apresentam o AutoJudge como um padrão universal: em métricas muito especializadas, juízes configurados manualmente às vezes são mais eficazes. O modo adaptativo é mais caro, e a compressão do histórico pode eliminar um detalhe importante.

A conclusão para quem constrói agentes é: registre os passos e os resultados das ferramentas de forma que possam ser analisados depois da execução. No RAG, inclua uma verificação de suficiência do contexto antes da geração. Em cadeias com vários agentes, avalie o caminho inteiro, e não apenas a resposta final. Assim, a pergunta "a resposta está confirmada?" se transforma em outra, mais útil: "em que etapa o sistema errou?".

História

Perguntas frequentes sobre a notícia

Por que verificar apenas a resposta final não basta?

Enquanto o LLM apenas responde em um chat, o erro ainda pode ser percebido a olho nu. Mas quando a resposta é gravada na memória, vira entrada para a etapa seguinte ou dispara uma ação, a verificação manual deixa de funcionar. Por isso, a detecção de alucinações, ou seja, a busca automática por afirmações que não existem nos dados do sistema, passa a fazer parte do fluxo de trabalho. No RAG, o caso típico é chamado de alucinação contextual. O documento diz: "Participaram do estudo 120 pessoas".

Como o AutoJudge verifica o histórico de trabalho dos agentes?

Em um sistema multiagente, o objeto de verificação é outro: todo o histórico de mensagens dos agentes, chamadas de ferramentas e seus resultados. Às alucinações somam-se erros de planejamento, de uso de ferramentas, de comunicação e de agregação. Os métodos existentes para avaliar esses históricos costumam estar vinculados a uma lista específica de tipos de erro e a um pipeline de verificação predefinido. Ao trocar o sistema ou os critérios, tudo precisa ser projetado de novo.

O que fazer com isso na prática?

O ganho de 55,17% para 67,24% foi obtido com o mesmo GPT-4o, então ele não pode ser explicado por um modelo mais forte. O teste também foi feito em outros conjuntos de dados: os pipelines construídos dinamicamente continuaram competitivos e frequentemente superaram as variantes fixas. Os autores não apresentam o AutoJudge como um padrão universal: em métricas muito especializadas, juízes configurados manualmente às vezes são mais eficazes.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…