SAAG: метод трёхэтапной диагностики ошибок вызова функций у AI-агентов

En juillet 2026 est parue sur arXiv l'étude SAAG (Structured Agent Assessment and Grounding) — une méthode d'évaluation en cascade qui décompose la vérification des appels de fonction d'un agent IA en trois étapes séquentielles et produit, pour chacune, un diagnostic d'erreur distinct au lieu d'un score binaire unique.

Ce qui ne va pas avec l'évaluation binaire

L'évaluation des appels de fonction par correspondance exacte (exact-match) masque des types d'échecs qualitativement différents, affirment les auteurs de SAAG. Un modèle peut choisir la bonne fonction mais halluciner les valeurs des arguments — ou satisfaire formellement le schéma d'appel en choisissant l'outil pour une mauvaise raison.

Les benchmarks existants regroupent tous ces cas en un seul score « correct/incorrect ». En conséquence, l'ingénieur voit que l'agent s'est trompé, mais ne comprend pas à quelle étape exactement : dans le choix de l'outil, dans la structure de l'appel ou dans la substitution des arguments. Pour les agents qui appellent des fonctions externes en production, cet aveuglement est critique — sans découpage par étapes, il n'y a rien à corriger de manière ciblée.

Comment fonctionne SAAG

SAAG décompose la vérification en trois étapes séquentielles, chacune produisant son propre diagnostic interprétable. Selon le résumé publié sur arXiv, les étapes s'enchaînent en cascade — du général au particulier.

• Étape 1 — registry conformance : l'outil appelé correspond-il au registre des agents disponibles
• Étape 2 — structural completeness : la structure de l'appel est-elle correcte, tous les champs obligatoires sont-ils présents
• Étape 3 — argument grounding : les valeurs des arguments sont-elles fondées sur les données source, et non inventées
• Le benchmark est construit sur le jeu de données de function-calling de l'entreprise Glaive
• Des registres de trois tailles — 5, 10 et 15 agents

La caractéristique principale est l'auto-réparation itérative (self-repair). En cas d'erreur, le signal d'une étape précise indique au modèle ce qu'il faut corriger exactement, sans toutefois révéler la bonne réponse (ground-truth), afin d'éviter toute fuite et tout ajustement artificiel à la réponse.

Ce que les tests ont montré

Un retour structuré étape par étape améliore de façon constante la précision des arguments et réduit l'hallucination de leurs valeurs — par rapport à un passage unique sans retour et à un retour binaire peu informatif de type « correct/incorrect ». Les tests ont été menés sur trois modèles locaux de moins de 4 milliards de paramètres.

Les auteurs qualifient toutefois le gain final de qualité end-to-end (métrique F1) de modeste et dépendant du modèle concerné. Autrement dit, le diagnostic par étapes aide sensiblement au niveau des arguments, mais ne produit pas de bond spectaculaire de la précision globale pour tous les modèles et toutes les tailles de registre à la fois.

« L'évaluation diagnostique par étapes est une lentille nécessaire

pour comprendre et améliorer la fiabilité des appels de fonction des agents », indique le résumé de l'étude sur arXiv.

Ce que cela signifie

Pour les équipes qui construisent des agents IA sur de petits modèles locaux, SAAG propose non pas un simple verdict « réussi/échoué », mais une carte indiquant précisément où l'appel d'outil se brise. Cela rend le débogage des agents plus ciblé — en particulier là où il importe de réduire l'hallucination des arguments sans réentraîner le modèle et sans divulguer les réponses de référence.

Questions fréquentes

Qu'est-ce que SAAG ?

SAAG (Structured Agent Assessment and Grounding) est une méthode diagnostique d'évaluation des appels de fonction des agents IA, décomposée en trois étapes : conformité au registre, complétude structurelle et fondement des arguments. Elle produit un signal distinct pour chaque étape au lieu d'un score global unique.

En quoi SAAG diffère-t-il des benchmarks habituels ?

Les benchmarks habituels donnent un score binaire « correct/incorrect » et ne montrent pas à quelle étape l'agent s'est trompé. SAAG répartit les erreurs par étapes et permet en plus au modèle de les corriger de manière itérative, sans regarder la bonne réponse.

Sur quels modèles SAAG a-t-il été testé ?

La méthode a été testée sur trois modèles locaux de moins de 4 milliards de paramètres, sur un benchmark issu du jeu de données Glaive avec des registres de 5, 10 et 15 agents disponibles.