RouteWeaver учит LLM-роутер выбирать режим и дал 61,4% точности

Команда исследователей предложила RouteWeaver — единый фреймворк маршрутизации между языковыми моделями, который сам выбирает не только какую модель позвать, но и как выстроить сам процесс: одним запросом, серией раундов или через агентный цикл. На бенчмарках по пяти направлениям система показывает среднюю точность 61,4%. Это на 11,03% относительно выше сильнейшего из сравниваемых методов, и RouteWeaver обходит все бейслайны в каждом из пяти доменов. Если пересчитать, лучший конкурент остаётся где-то около 55,3%.

Проблема: роутер, запертый в одной схеме

LLM-маршрутизация давно стала рабочим инструментом: между разнородными моделями распределяют запросы, чтобы не гонять дорогую модель на простых задачах и не отдавать сложные задачи слабой. Но почти все существующие подходы строятся вокруг фиксированной парадигмы исполнения. Один роутер работает в режиме single-round: выбрал модель, получил ответ. Другой делает multi-round, где модели вызываются последовательно и уточняют друг друга. Третий — агентный, с планированием и инструментами.

Такая жёсткость создаёт очевидный перекос. Фактологический вопрос не требует многошагового диалога между моделями, а сложная математическая задача может не решиться за один вызов. Когда способ организации вызовов зашит в архитектуру, роутер не может подстроиться под потребность конкретного запроса.

RouteWeaver снимает это ограничение. Все три режима живут внутри одной LLM-политики, которая совместно учится двум вещам: какой режим применить и как выбирать модели внутри него.

COMET-GRPO: раздельные сигналы для двух уровней решений

Совместное обучение двух уровней упирается в проблему распределения заслуги. Если вся траектория получает один общий сигнал преимущества, непонятно, что сработало: удачный выбор режима или удачное исполнение внутри него. Авторы решают это в алгоритме COMET-GRPO (COordinated Mode-Execution Training). Он раскладывает преимущество на уровне траектории на два отдельных сигнала: один для выбора режима, другой для исполнения внутри режима. Каждое решение получает свою, более точную обратную связь.

Второй элемент — progressive exploration. Обучение начинается с режимов, которые назначены извне, и постепенно смещается к автономному выбору. Логика простая: роутер сначала осваивает, как исполнять каждый режим, и только потом решает, когда какой применять.

Абляции показывают, что без этого шага всё ломается. Если убрать progressive exploration, политика полностью схлопывается в single-round: роутер выбирает самый простой путь и перестаёт использовать остальные. Важны оба компонента, и COMET-GRPO, и прогрессивная схема.

Что известно по оценке

• Фреймворк: единая LLM-политика, объединяющая single-round, multi-round и agentic routing.
• Алгоритм обучения: COMET-GRPO с раздельными сигналами преимущества для выбора режима и исполнения.
• Схема обучения: progressive exploration, переход от назначенных режимов к самостоятельному выбору.
• Домены оценки: математика, кодинг, знания, логические рассуждения, фактологический recall.
• Средняя точность: 61,4%.
• Относительный прирост над сильнейшим бейслайном: 11,03%.
• Результат по доменам: лучше всех сравниваемых методов в каждом из пяти.

Практический вывод для тех, кто строит роутинг

Для команд, которые собирают мультимодельные системы, главный сигнал такой: выбор режима исполнения стоит считать частью задачи маршрутизации. Если сегодня у вас есть отдельный роутер для моделей и отдельная логика, когда включать цепочки или агентов, RouteWeaver предлагает объединить их под одной обучаемой политикой.

Вторая практическая деталь касается самого обучения. Коллапс в single-round без progressive exploration — типичная ловушка для RL-подходов: политика находит самый дешёвый и стабильный путь и застревает в нём. Учить роутер сначала исполнять режимы, а потом выбирать между ними — приём, который можно перенести на другие иерархические решения в агентных системах.

Осталось выяснить, как такой роутер поведёт себя на задачах вне пяти протестированных доменов и как учитывать стоимость и задержку многораундовых и агентных режимов. Но направление понятно: роутинг превращается из выбора модели в выбор всей стратегии работы с ней.