AutoJudge от Сбера находит агента-виновника ошибки в 67% случаев вместо 55%
В цепочке ИИ-агентов одна ранняя ошибка, например неверно прочитанное число, доезжает до финала как «общее решение». AutoJudge от Sber AI Lab сам собирает судей под каждый запуск и по логу называет агента, ошибившегося первым. На тесте Who&When с той же GPT-4o виновный находится в 67,24% случаев вместо 55,17%. Проверять надо весь путь, а не финальный ответ.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте систему из нескольких ИИ-агентов. Первый неверно вытащил из документа число, второй честно посчитал по нему результат, третий аккуратно собрал отчёт. Каждый шаг выглядит разумно, но весь ответ неправильный, а понять, кто напортачил первым, по финальному тексту нельзя. Команда прикладных исследований Sber AI Lab предложила AutoJudge: система сама собирает набор «судей», которые разбирают лог работы агентов и указывают, на каком шаге и у какого агента случилась ошибка. На тесте Who&When, где по истории запуска нужно назвать виновного агента, при той же модели GPT-4o точность выросла с 55,17% до 67,24%.
Почему одной проверки финального ответа мало
Пока LLM просто отвечает в чате, ошибку ещё можно заметить глазами. Но когда ответ записывается в память, становится входом для следующего шага или запускает действие, ручная проверка не работает. Поэтому детекция галлюцинаций, то есть автоматический поиск утверждений, которых нет в данных системы, становится частью рабочего контура.
Типичный случай в RAG называют контекстной галлюцинацией. В документе написано: «В исследовании участвовали 120 человек». Модель отвечает: «…поровну разделённых на контрольную и экспериментальную группы». Число взято из источника, а разбиение поровну модель придумала. Важно не то, верно ли это вообще, а то, подтверждается ли ответ тем, что система реально получила.
Для отдельного ответа есть три семейства методов:
- Оценка неопределённости. Смотрят на вероятности токенов или на то, насколько расходятся повторные ответы. Отдельная модель не нужна, но уверенность не равна правильности: LLM умеет уверенно ошибаться.
- Зондирование внутренних состояний. Поверх скрытых представлений модели обучают небольшой классификатор. Если генератор доступен только через API, берут открытую модель-заменитель. Нужно минимум 300–500 размеченных примеров.
- Модели-судьи. Это либо компактный классификатор на базе BERT, либо генеративная LLM в роли судьи. LLM гибче и подходит, когда разметки мало, но дороже. Для дообучения судьи нужно от 1000 примеров.
Чтобы не городить под каждый метод свою инфраструктуру, в Sber AI Lab сделали библиотеку SIRIN. Она даёт единый интерфейс для всех трёх подходов, работает и с открытыми, и с закрытыми моделями, ищет проблему в целом ответе или в отдельном фрагменте. Ещё она проверяет, хватает ли найденных документов для ответа, ещё до генерации: если нет, можно повторить поиск или отказаться отвечать.
Как AutoJudge проверяет историю работы агентов
В мультиагентной системе объект проверки другой: это вся история сообщений агентов, вызовов инструментов и их результатов. К галлюцинациям добавляются ошибки планирования, использования инструментов, коммуникации и агрегирования. Существующие методы оценки таких историй обычно привязаны к конкретному списку типов ошибок и заранее заданному конвейеру проверки. Сменилась система или критерии, и всё приходится проектировать заново.
AutoJudge получает на вход историю выполнения, таксономию оценки (то есть список типов ошибок, которые нужно искать) и схему требуемого результата. Дальше мета-агент анализирует задачу и сам создаёт набор специализированных промежуточных судей и итоговый агрегатор. Судьи смотрят на разные этапы работы, а агрегатор сопоставляет их выводы с исходными данными. Это не простое голосование: если оценки расходятся, агрегатор возвращается к исходной истории и разрешает противоречие.
Есть два режима. В основном отдельный конвейер создаётся для каждого запуска: дороже, зато лучше подстраивается под поведение агентов. В экономном один конвейер переиспользуется на весь набор данных. В экспериментах адаптация к конкретному запуску обычно оказывалась полезнее, особенно когда агенты ведут себя по-разному.
Отдельная проблема — размер логов. Сообщения агентов вместе с результатами инструментов могут не поместиться в контекст каждого судьи. Поэтому AutoJudge умеет работать и с полной историей, и с краткой: судьи видят сжатые шаги, а нужный оригинал точечно подтягивают из внешнего хранилища.
Что с этим делать на практике
Прирост с 55,17% до 67,24% получен на одной и той же GPT-4o, так что его нельзя объяснить более сильной моделью. Тест проверялся и на нескольких других наборах данных: динамически построенные конвейеры оставались конкурентоспособными и часто обгоняли фиксированные варианты.
Авторы не называют AutoJudge универсальным эталоном: на узкоспециализированных метриках вручную настроенные судьи иногда сильнее. Адаптивный режим дороже, а сжатие истории может потерять важную деталь.
Вывод для тех, кто строит агентов: логируйте шаги и результаты инструментов так, чтобы их можно было разобрать после запуска. В RAG ставьте проверку достаточности контекста перед генерацией. В цепочках из нескольких агентов оценивайте весь путь, а не только финальный ответ. Тогда вопрос «подтверждается ли ответ?» превращается в более полезный: «на каком шаге система ошиблась?».
- 21 нояб. 2026 г.Браузер Ego lite дал каждому ИИ-агенту своё рабочее пространство Space
- 21 нояб. 2026 г.Instinct с оценкой $10 млрд возглавил рынок ИИ-агентов, которым пишут как в мессенджере
- 21 нояб. 2026 г.Docker сменил бренд под ИИ-агентов, но песочницы Sandboxes вышли ещё в сентябре
- 21 нояб. 2026 г.Google выпустила Gemini 4 Neon: 65,2% в Terminal-Bench 4.1 при цене $3 за млн токенов
Вопросы и ответы по материалу
Что известно по теме: почему одной проверки финального ответа мало?
Пока LLM просто отвечает в чате, ошибку ещё можно заметить глазами. Но когда ответ записывается в память, становится входом для следующего шага или запускает действие, ручная проверка не работает. Поэтому детекция галлюцинаций, то есть автоматический поиск утверждений, которых нет в данных системы, становится частью рабочего контура. Типичный случай в RAG называют контекстной галлюцинацией. В документе написано: «В исследовании участвовали 120 человек».
Что известно по теме: как AutoJudge проверяет историю работы агентов?
В мультиагентной системе объект проверки другой: это вся история сообщений агентов, вызовов инструментов и их результатов. К галлюцинациям добавляются ошибки планирования, использования инструментов, коммуникации и агрегирования. Существующие методы оценки таких историй обычно привязаны к конкретному списку типов ошибок и заранее заданному конвейеру проверки. Сменилась система или критерии, и всё приходится проектировать заново.
Что известно по теме: что с этим делать на практике?
Прирост с 55,17% до 67,24% получен на одной и той же GPT-4o, так что его нельзя объяснить более сильной моделью. Тест проверялся и на нескольких других наборах данных: динамически построенные конвейеры оставались конкурентоспособными и часто обгоняли фиксированные варианты. Авторы не называют AutoJudge универсальным эталоном: на узкоспециализированных метриках вручную настроенные судьи иногда сильнее. Адаптивный режим дороже, а сжатие истории может потерять важную деталь.
От чтения про ИИ-агентов — к запуску своего агента за вечер
Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.