MultiAgent-OPD обучает команду агентов целиком и берёт 38,68% на семи QA-бенчмарках

Исследователи из TaoLive AIGC (первый автор — Yuhan Sun) опубликовали MultiAgent-OPD, метод сквозного обучения иерархических мультиагентных систем. Он сочетает on-policy дистилляцию с обучением с подкреплением. Команда из Leader, Searcher и Answerer работает на одной общей языковой модели. На семи QA-датасетах она набирает 38,68% macro avg@4. Это на 4,06 п.п. лучше метода с LLM-судьёй Prompted Critic и на 2,61 п.п. лучше обученной каскадной системы C-MAS + RL.

Почему финальный ответ плохо учит поисковиков

В иерархической системе Leader разбивает задачу на подзадачи, а субагенты их выполняют. Searcher ищет информацию в несколько волн и сворачивает найденное в краткие отчёты, Answerer собирает из них ответ. Обучать всё это вместе трудно из-за проблемы распределения заслуг: итоговый ответ верен или неверен, но какой запрос Searcher'а помог, а какой увёл в сторону, из этого сигнала не видно.

Обычный обходной путь — LLM-судья, который оценивает работу субагентов. Но его оценки зависят от собственных представлений судьи о качестве ответа. Если судья ошибается или предвзят, система послушно оптимизирует эту ошибку. Именно такой подход представляет Prompted Critic, M-GRPO-подобный метод MAS-RL.

Учитель, который не меняется

Авторы строят обучение в два этапа. Сначала они обучают Teacher в каскадном процессе Searcher–Answerer, где сигналом служит правильность ответа. Затем учитель замораживается и подключается к совместному обучению команды.

Во время командного обучения студент сам генерирует поисковые запросы и саммари на развивающихся траекториях подзадач. Замороженный учитель оценивает эти токены, то есть даёт дистилляцию на уровне токенов по собственным действиям студента (on-policy). Searcher получает плотный локальный процессный сигнал: как искать и как докладывать найденное. При этом учитель не зависит от субъективного мнения внешнего судьи, потому что сам обучен на корректности ответов.

У остальных ролей сигналы другие:

• Leader учится на успехе команды в целом (outcome-based RL);
• Answerer учится на корректности кандидатных ответов;
• Searcher получает токен-уровневую оценку от замороженного учителя.

Все три роли оптимизируют одну общую модель, и она учится координировать декомпозицию задачи, многоволновый поиск и генерацию ответа. На инференсе учитель не нужен, достаточно обученного студента.

Цифры и сравнение

• MultiAgent-OPD: 38,68% macro avg@4 на семи датасетах;
• Prompted Critic (LLM-судья, MAS-RL в духе M-GRPO): на 4,06 п.п. ниже, около 34,6%;
• C-MAS + RL (обученная каскадная мультиагентная система): на 2,61 п.п. ниже, около 36,1%;
• сравнение проведено на оценённых чекпойнтах;
• команда решает больше вопросов в пределах четырёх попыток.

Прирост в 2–4 п.п. по среднему на семи бенчмарках заметен, но не драматичен. Показательнее, что выигрыш у каскадной системы получен без усложнения инференса: роли делят одни веса, а дополнительные затраты ложатся на обучение.

Кому пригодится рецепт

Для команд, строящих поисковых и исследовательских агентов, основной вывод практический. Если у вас есть Leader, раздающий задачи, и исполнители, чья работа видна только через итоговый результат, можно сначала обучить учителя на простой каскадной схеме с проверяемым ответом. Затем его замороженные оценки можно использовать как плотный сигнал для исполнителей вместо дорогого и шумного LLM-судьи.

Это снижает зависимость от стороннего оценщика и упрощает деплой: в продакшене живёт одна модель, а не ансамбль из нескольких. Ограничения тоже понятны. Метод проверен на QA-задачах с поиском, и для других типов субагентов, например кодовых или инструментальных, схема потребует отдельной проверки. Проектная страница доступна у авторов, а работа опубликована на arXiv под номером 2610.23234.