SAAG : une méthode de diagnostic en trois étapes pour les erreurs d'appel de fonctions des agents IA

En juillet 2026, l'étude SAAG (Structured Agent Assessment and Grounding) est parue sur arXiv. Il s'agit d'une méthode d'évaluation en cascade qui découpe la vérification des appels de fonctions par les agents IA en trois étapes successives. Pour chacune, elle fournit un diagnostic d'erreur distinct, à la place d'un unique score binaire.

Ce qui cloche avec l'évaluation binaire

L'évaluation des appels de fonctions par correspondance exacte (exact-match) masque des types de défaillances qualitativement très différents, affirment les auteurs de SAAG. Un modèle peut choisir la bonne fonction tout en hallucinant les valeurs des arguments. Il peut aussi satisfaire formellement le schéma d'appel tout en sélectionnant l'outil pour une mauvaise raison.

Les benchmarks existants ramènent tous ces cas à un seul score « correct/incorrect ». L'ingénieur constate que l'agent s'est trompé, mais ne sait pas à quel moment : dans le choix de l'outil, dans la structure de l'appel ou dans la substitution des arguments. Pour des agents qui appellent des fonctions externes en production, cet angle mort est critique : sans ventilation par étape, il n'y a rien à corriger de façon ciblée.

Comment fonctionne SAAG

SAAG répartit la vérification en trois étapes successives, chacune fournissant son propre diagnostic interprétable. Selon le résumé publié sur arXiv, les étapes s'enchaînent en cascade, du général au particulier.

• Étape 1 — registry conformance : l'outil appelé correspond-il au registre des agents disponibles
• Étape 2 — structural completeness : la structure de l'appel est-elle correcte, tous les champs obligatoires sont-ils présents
• Étape 3 — argument grounding : les valeurs des arguments sont-elles fondées sur les données sources, et non inventées
• Le benchmark repose sur le jeu de données de function calling de la société Glaive
• Des registres de trois tailles : 5, 10 et 15 agents

La particularité principale est un self-repair itératif. En cas d'erreur, le signal propre à l'étape concernée indique au modèle ce qu'il doit corriger, mais sans révéler la bonne réponse (ground-truth), afin d'éviter toute fuite et tout ajustement à la réponse attendue.

Ce que montrent les tests

Le retour structuré, étape par étape, améliore de façon constante la précision des arguments et réduit l'hallucination de leurs valeurs. La comparaison porte sur un passage unique sans retour et sur un retour binaire « correct/incorrect » peu informatif. Les tests ont été menés sur trois modèles locaux de moins de 4 milliards de paramètres.

En revanche, les auteurs jugent le gain de qualité end-to-end final (métrique F1) modeste et dépendant du modèle. Autrement dit, le diagnostic par étapes aide nettement au niveau des arguments, mais il ne produit pas de bond spectaculaire de la précision globale, ni pour tous les modèles ni pour toutes les tailles de registre à la fois.

« L'évaluation diagnostique par étapes est une lentille nécessaire

pour comprendre et améliorer la fiabilité des appels d'agents », indique le résumé de l'étude sur arXiv.

Ce que cela signifie

Pour les équipes qui construisent des agents IA sur de petits modèles locaux, SAAG propose plus qu'un simple verdict « réussi/échoué » : une cartographie de l'endroit précis où l'appel d'outil se brise. Le débogage des agents devient ainsi plus ciblé, en particulier lorsqu'il s'agit de réduire l'hallucination des arguments sans réentraîner le modèle et sans fuite des réponses de référence.

Questions fréquentes

Qu'est-ce que SAAG ?

SAAG (Structured Agent Assessment and Grounding) est une méthode de diagnostic pour évaluer les appels de fonctions des agents IA, découpée en trois étapes : conformité au registre, complétude structurelle et ancrage des arguments. Elle fournit un signal distinct pour chaque étape, au lieu d'un score global unique.

En quoi SAAG diffère-t-il des benchmarks classiques ?

Les benchmarks classiques donnent une note binaire « correct/incorrect » et n'indiquent pas à quelle étape l'agent s'est trompé. SAAG sépare les erreurs par étape et permet en plus au modèle de les corriger de façon itérative, sans voir la bonne réponse.

Sur quels modèles SAAG a-t-il été testé ?

La méthode a été testée sur trois modèles locaux de moins de 4 milliards de paramètres, avec un benchmark issu du jeu de données Glaive et des registres de 5, 10 et 15 agents disponibles.