SAAG: метод трёхэтапной диагностики ошибок вызова функций у AI-агентов

Em julho de 2026, surgiu no arXiv o trabalho SAAG (Structured Agent Assessment and Grounding) — um método de avaliação em cascata que decompõe a verificação das chamadas de função de um agente de IA em três etapas sequenciais, gerando para cada uma um diagnóstico de erro separado, em vez de uma única pontuação binária.

O que há de errado com a avaliação binária

A avaliação de chamadas de função por correspondência exata (exact-match) esconde tipos de falhas qualitativamente diferentes, afirmam os autores do SAAG. Um modelo pode escolher a função correta, mas alucinar os valores dos argumentos — ou satisfazer formalmente o esquema da chamada escolhendo a ferramenta pelo motivo errado.

Os benchmarks existentes reduzem todos esses casos a uma única pontuação de "correto/incorreto". Como resultado, o engenheiro vê que o agente errou, mas não entende em qual etapa exatamente: na escolha da ferramenta, na estrutura da chamada ou na substituição dos argumentos. Para agentes que chamam funções externas em produção, essa cegueira é crítica — sem uma divisão por etapas, não há nada para corrigir de forma direcionada.

Como o SAAG funciona

O SAAG divide a verificação em três etapas sequenciais, cada uma gerando seu próprio diagnóstico interpretável. Segundo o resumo publicado no arXiv, as etapas seguem em cascata — do geral para o específico.

• Etapa 1 — registry conformance: se a ferramenta chamada corresponde ao registro de agentes disponíveis
• Etapa 2 — structural completeness: se a estrutura da chamada está correta, se todos os campos obrigatórios estão presentes
• Etapa 3 — argument grounding: se os valores dos argumentos são fundamentados nos dados de origem, e não inventados
• O benchmark é construído sobre o dataset de function-calling da empresa Glaive
• Registros de três tamanhos — 5, 10 e 15 agentes

A principal característica é o self-repair iterativo. Diante de um erro, o sinal de uma etapa específica indica ao modelo o que exatamente corrigir, mas sem revelar a resposta correta (ground-truth), para evitar vazamento e ajuste artificial à resposta.

O que os testes mostraram

O feedback estruturado por etapas melhora consistentemente a precisão dos argumentos e reduz a alucinação de seus valores — em comparação com uma única passagem sem feedback e com um feedback binário pouco informativo de "correto/incorreto". Os testes foram feitos em três modelos locais com menos de 4 bilhões de parâmetros.

Ao mesmo tempo, os autores classificam o ganho final de qualidade end-to-end (métrica F1) como modesto e dependente do modelo específico. Ou seja, o diagnóstico por etapas ajuda perceptivelmente no nível dos argumentos, mas não gera um salto dramático na precisão geral para todos os modelos e todos os tamanhos de registro ao mesmo tempo.

"A avaliação diagnóstica por etapas é uma lente necessária para

entender e melhorar a confiabilidade das chamadas de função dos agentes", afirma o resumo do trabalho no arXiv.

O que isso significa

Para equipes que constroem agentes de IA sobre modelos locais pequenos, o SAAG oferece não apenas um veredito de "passou/não passou", mas um mapa de onde exatamente a chamada da ferramenta quebra. Isso torna a depuração de agentes mais direcionada — especialmente onde é importante reduzir a alucinação de argumentos sem reajuste fino do modelo e sem vazamento das respostas de referência.

Perguntas frequentes

O que é o SAAG?

SAAG (Structured Agent Assessment and Grounding) é um método diagnóstico para avaliar chamadas de função de agentes de IA, decomposto em três etapas: conformidade com o registro, completude estrutural e fundamentação dos argumentos. Ele gera um sinal separado para cada etapa, em vez de uma única pontuação geral.

Em que o SAAG difere dos benchmarks comuns?

Os benchmarks comuns dão uma pontuação binária de "correto/incorreto" e não mostram em qual etapa o agente errou. O SAAG separa os erros por etapas e, além disso, permite que o modelo os corrija de forma iterativa, sem espiar a resposta correta.

Em quais modelos o SAAG foi testado?

O método foi testado em três modelos locais com menos de 4 bilhões de parâmetros, em um benchmark do dataset da Glaive com registros de 5, 10 e 15 agentes disponíveis.