Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоКод / SDK · В работуHabr AI→ оригинал

AutoJudge от Сбера находит агента-виновника ошибки в 67% случаев вместо 55%

В цепочке ИИ-агентов одна ранняя ошибка, например неверно прочитанное число, доезжает до финала как «общее решение». AutoJudge от Sber AI Lab сам собирает судей под каждый запуск и по логу называет агента, ошибившегося первым. На тесте Who&When с той же GPT-4o виновный находится в 67,24% случаев вместо 55,17%. Проверять надо весь путь, а не финальный ответ.

AI-обработка оригинала Habr AI; редакция Hamidun News
AutoJudge от Сбера находит агента-виновника ошибки в 67% случаев вместо 55%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Судей собирает мета-агентотдельный конвейер на каждый запуск системы
Дешёвый режимодин конвейер на весь набор, но адаптация точнее
Ключевой факт #3Если судьи расходятся, агрегатор перечитывает исходный лог шагов

Представьте систему из нескольких ИИ-агентов. Первый неверно вытащил из документа число, второй честно посчитал по нему результат, третий аккуратно собрал отчёт. Каждый шаг выглядит разумно, но весь ответ неправильный, а понять, кто напортачил первым, по финальному тексту нельзя. Команда прикладных исследований Sber AI Lab предложила AutoJudge: система сама собирает набор «судей», которые разбирают лог работы агентов и указывают, на каком шаге и у какого агента случилась ошибка. На тесте Who&When, где по истории запуска нужно назвать виновного агента, при той же модели GPT-4o точность выросла с 55,17% до 67,24%.

Почему одной проверки финального ответа мало

Пока LLM просто отвечает в чате, ошибку ещё можно заметить глазами. Но когда ответ записывается в память, становится входом для следующего шага или запускает действие, ручная проверка не работает. Поэтому детекция галлюцинаций, то есть автоматический поиск утверждений, которых нет в данных системы, становится частью рабочего контура.

Типичный случай в RAG называют контекстной галлюцинацией. В документе написано: «В исследовании участвовали 120 человек». Модель отвечает: «…поровну разделённых на контрольную и экспериментальную группы». Число взято из источника, а разбиение поровну модель придумала. Важно не то, верно ли это вообще, а то, подтверждается ли ответ тем, что система реально получила.

Для отдельного ответа есть три семейства методов:

  • Оценка неопределённости. Смотрят на вероятности токенов или на то, насколько расходятся повторные ответы. Отдельная модель не нужна, но уверенность не равна правильности: LLM умеет уверенно ошибаться.
  • Зондирование внутренних состояний. Поверх скрытых представлений модели обучают небольшой классификатор. Если генератор доступен только через API, берут открытую модель-заменитель. Нужно минимум 300–500 размеченных примеров.
  • Модели-судьи. Это либо компактный классификатор на базе BERT, либо генеративная LLM в роли судьи. LLM гибче и подходит, когда разметки мало, но дороже. Для дообучения судьи нужно от 1000 примеров.

Чтобы не городить под каждый метод свою инфраструктуру, в Sber AI Lab сделали библиотеку SIRIN. Она даёт единый интерфейс для всех трёх подходов, работает и с открытыми, и с закрытыми моделями, ищет проблему в целом ответе или в отдельном фрагменте. Ещё она проверяет, хватает ли найденных документов для ответа, ещё до генерации: если нет, можно повторить поиск или отказаться отвечать.

Как AutoJudge проверяет историю работы агентов

В мультиагентной системе объект проверки другой: это вся история сообщений агентов, вызовов инструментов и их результатов. К галлюцинациям добавляются ошибки планирования, использования инструментов, коммуникации и агрегирования. Существующие методы оценки таких историй обычно привязаны к конкретному списку типов ошибок и заранее заданному конвейеру проверки. Сменилась система или критерии, и всё приходится проектировать заново.

AutoJudge получает на вход историю выполнения, таксономию оценки (то есть список типов ошибок, которые нужно искать) и схему требуемого результата. Дальше мета-агент анализирует задачу и сам создаёт набор специализированных промежуточных судей и итоговый агрегатор. Судьи смотрят на разные этапы работы, а агрегатор сопоставляет их выводы с исходными данными. Это не простое голосование: если оценки расходятся, агрегатор возвращается к исходной истории и разрешает противоречие.

Есть два режима. В основном отдельный конвейер создаётся для каждого запуска: дороже, зато лучше подстраивается под поведение агентов. В экономном один конвейер переиспользуется на весь набор данных. В экспериментах адаптация к конкретному запуску обычно оказывалась полезнее, особенно когда агенты ведут себя по-разному.

Отдельная проблема — размер логов. Сообщения агентов вместе с результатами инструментов могут не поместиться в контекст каждого судьи. Поэтому AutoJudge умеет работать и с полной историей, и с краткой: судьи видят сжатые шаги, а нужный оригинал точечно подтягивают из внешнего хранилища.

Что с этим делать на практике

Прирост с 55,17% до 67,24% получен на одной и той же GPT-4o, так что его нельзя объяснить более сильной моделью. Тест проверялся и на нескольких других наборах данных: динамически построенные конвейеры оставались конкурентоспособными и часто обгоняли фиксированные варианты.

Авторы не называют AutoJudge универсальным эталоном: на узкоспециализированных метриках вручную настроенные судьи иногда сильнее. Адаптивный режим дороже, а сжатие истории может потерять важную деталь.

Вывод для тех, кто строит агентов: логируйте шаги и результаты инструментов так, чтобы их можно было разобрать после запуска. В RAG ставьте проверку достаточности контекста перед генерацией. В цепочках из нескольких агентов оценивайте весь путь, а не только финальный ответ. Тогда вопрос «подтверждается ли ответ?» превращается в более полезный: «на каком шаге система ошиблась?».

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему одной проверки финального ответа мало?

Пока LLM просто отвечает в чате, ошибку ещё можно заметить глазами. Но когда ответ записывается в память, становится входом для следующего шага или запускает действие, ручная проверка не работает. Поэтому детекция галлюцинаций, то есть автоматический поиск утверждений, которых нет в данных системы, становится частью рабочего контура. Типичный случай в RAG называют контекстной галлюцинацией. В документе написано: «В исследовании участвовали 120 человек».

Что известно по теме: как AutoJudge проверяет историю работы агентов?

В мультиагентной системе объект проверки другой: это вся история сообщений агентов, вызовов инструментов и их результатов. К галлюцинациям добавляются ошибки планирования, использования инструментов, коммуникации и агрегирования. Существующие методы оценки таких историй обычно привязаны к конкретному списку типов ошибок и заранее заданному конвейеру проверки. Сменилась система или критерии, и всё приходится проектировать заново.

Что известно по теме: что с этим делать на практике?

Прирост с 55,17% до 67,24% получен на одной и той же GPT-4o, так что его нельзя объяснить более сильной моделью. Тест проверялся и на нескольких других наборах данных: динамически построенные конвейеры оставались конкурентоспособными и часто обгоняли фиксированные варианты. Авторы не называют AutoJudge универсальным эталоном: на узкоспециализированных метриках вручную настроенные судьи иногда сильнее. Адаптивный режим дороже, а сжатие истории может потерять важную деталь.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…