SAAG: метод трёхэтапной диагностики ошибок вызова функций у AI-агентов

В июле 2026 года на arXiv появилась работа SAAG (Structured Agent Assessment and Grounding) — каскадный метод оценки, который раскладывает проверку вызова функций AI-агентами на три последовательные стадии и по каждой выдаёт отдельную диагностику ошибки вместо единого бинарного балла.

Что не так с бинарной оценкой

Оценка вызова функций по точному совпадению (exact-match) скрывает качественно разные типы сбоев, утверждают авторы SAAG. Модель может выбрать правильную функцию, но галлюцинировать значения аргументов — или формально удовлетворить схему вызова, выбрав при этом инструмент по неверной причине.

Существующие бенчмарки сводят все эти случаи в один балл «верно/неверно». В результате инженер видит, что агент ошибся, но не понимает, на каком этапе именно: в выборе инструмента, в структуре вызова или в подстановке аргументов. Для агентов, которые вызывают внешние функции в проде, эта слепота критична — без разбивки по стадиям нечего чинить прицельно.

Как устроен SAAG

SAAG разбивает проверку на три последовательные стадии, каждая из которых даёт свою интерпретируемую диагностику. По данным аннотации на arXiv, стадии идут каскадом — от общего к частному.

• Стадия 1 — registry conformance: соответствует ли вызванный инструмент реестру доступных агентов
• Стадия 2 — structural completeness: корректна ли структура вызова, все ли обязательные поля на месте
• Стадия 3 — argument grounding: обоснованы ли значения аргументов исходными данными, а не выдуманы
• Бенчмарк построен на function-calling датасете компании Glaive
• Реестры трёх размеров — 5, 10 и 15 агентов

Главная особенность — итеративный self-repair. При ошибке сигнал конкретной стадии подсказывает модели, что именно исправить, но при этом не раскрывает правильный ответ (ground-truth), чтобы не было утечки и подгонки под ответ.

Что показали тесты

Структурированный поэтапный фидбек последовательно повышает точность аргументов и снижает галлюцинацию их значений — по сравнению с одним проходом без обратной связи и с неинформативным бинарным фидбеком «верно/неверно». Проверяли на трёх локальных моделях менее 4 млрд параметров.

При этом итоговый прирост качества end-to-end (метрика F1) авторы называют скромным и зависящим от конкретной модели. То есть поэтапная диагностика заметно помогает на уровне аргументов, но не даёт драматического скачка общей точности для всех моделей и всех размеров реестра сразу.

«Поэтапная диагностическая оценка — необходимая линза для понимания и

улучшения надёжности вызова агентов», — говорится в аннотации работы на arXiv.

Что это значит

Для команд, строящих AI-агентов на небольших локальных моделях, SAAG предлагает не просто вердикт «прошёл/не прошёл», а карту того, где именно ломается вызов инструмента. Это делает отладку агентов адреснее — особенно там, где важно снизить галлюцинацию аргументов без дообучения модели и без утечки эталонных ответов.

Частые вопросы

Что такое SAAG?

SAAG (Structured Agent Assessment and Grounding) — это диагностический метод оценки вызова функций у AI-агентов, разложенный на три стадии: соответствие реестру, структурная полнота и обоснование аргументов. Он выдаёт отдельный сигнал по каждой стадии вместо одного общего балла.

Чем SAAG отличается от обычных бенчмарков?

Обычные бенчмарки дают бинарную оценку «верно/неверно» и не показывают, на каком этапе агент ошибся. SAAG разделяет ошибки по стадиям и дополнительно позволяет модели исправлять их итеративно, не подсматривая правильный ответ.

На каких моделях тестировали SAAG?

Метод проверяли на трёх локальных моделях менее 4 млрд параметров, на бенчмарке из датасета Glaive с реестрами по 5, 10 и 15 доступных агентов.