SAAG: método de diagnóstico em três etapas para erros de chamada de funções em agentes de IA

Em julho de 2026, foi publicado no arXiv o trabalho SAAG (Structured Agent Assessment and Grounding), um método de avaliação em cascata. Ele divide a verificação de chamadas de função por agentes de IA em três estágios sequenciais e emite, para cada um, um diagnóstico de erro separado, em vez de uma única nota binária.

O que há de errado com a avaliação binária

A avaliação de chamadas de função por correspondência exata (exact-match) esconde tipos de falha qualitativamente diferentes, afirmam os autores do SAAG. O modelo pode escolher a função certa, mas alucinar os valores dos argumentos. Também pode satisfazer formalmente o esquema da chamada e, mesmo assim, escolher a ferramenta pelo motivo errado.

Os benchmarks existentes reduzem todos esses casos a uma única nota de "certo/errado". Com isso, o engenheiro vê que o agente errou, mas não entende em que etapa: na escolha da ferramenta, na estrutura da chamada ou na substituição dos argumentos. Para agentes que chamam funções externas em produção, essa cegueira é crítica: sem a divisão por estágios, não há o que corrigir de forma direcionada.

Como funciona o SAAG

O SAAG divide a verificação em três estágios sequenciais, e cada um produz um diagnóstico interpretável. Segundo o resumo no arXiv, os estágios seguem em cascata, do geral para o específico.

• Estágio 1 — registry conformance: a ferramenta chamada corresponde ao registro de agentes disponíveis?
• Estágio 2 — structural completeness: a estrutura da chamada está correta e todos os campos obrigatórios estão presentes?
• Estágio 3 — argument grounding: os valores dos argumentos são fundamentados nos dados de origem, e não inventados?
• O benchmark foi construído sobre o dataset de function calling da Glaive
• Registros em três tamanhos: 5, 10 e 15 agentes

A principal característica é o self-repair iterativo. Quando há um erro, o sinal do estágio específico indica ao modelo o que corrigir, mas não revela a resposta correta (ground-truth), para evitar vazamento e ajuste artificial à resposta.

O que os testes mostraram

O feedback estruturado por estágios aumenta de forma consistente a precisão dos argumentos e reduz a alucinação de seus valores, em comparação com uma única passada sem feedback e com o feedback binário não informativo de "certo/errado". Os testes foram feitos em três modelos locais com menos de 4 bilhões de parâmetros.

Ao mesmo tempo, os autores descrevem o ganho final de qualidade end-to-end (métrica F1) como modesto e dependente do modelo. Ou seja, o diagnóstico por estágios ajuda de forma perceptível no nível dos argumentos, mas não dá um salto dramático na precisão geral para todos os modelos e todos os tamanhos de registro de uma só vez.

"A avaliação diagnóstica por estágios é uma lente necessária para

entender e melhorar a confiabilidade das chamadas de agentes", diz o resumo do trabalho no arXiv.

O que isso significa

Para equipes que constroem agentes de IA sobre modelos locais pequenos, o SAAG oferece mais do que um veredito de "passou/não passou": entrega um mapa de onde exatamente a chamada de ferramenta quebra. Isso torna a depuração de agentes mais direcionada, principalmente onde é importante reduzir a alucinação de argumentos sem refazer o treinamento do modelo e sem vazar as respostas de referência.

Perguntas frequentes

O que é o SAAG?

O SAAG (Structured Agent Assessment and Grounding) é um método diagnóstico de avaliação de chamadas de função em agentes de IA, dividido em três estágios: conformidade com o registro, completude estrutural e fundamentação dos argumentos. Ele emite um sinal separado para cada estágio, em vez de uma nota geral única.

Como o SAAG se diferencia dos benchmarks tradicionais?

Os benchmarks tradicionais dão uma nota binária de "certo/errado" e não mostram em que etapa o agente errou. O SAAG separa os erros por estágio e ainda permite que o modelo os corrija de forma iterativa, sem ver a resposta correta.

Em quais modelos o SAAG foi testado?

O método foi testado em três modelos locais com menos de 4 bilhões de parâmetros, em um benchmark baseado no dataset da Glaive, com registros de 5, 10 e 15 agentes disponíveis.