LEASH передаёт сложные шаги сильному агенту и экономит 19,2% на Opus 5

Команда авторов LEASH предлагает способ не гонять дорогую модель на каждом шаге computer-use агента. Слабая открытая модель действует по умолчанию, сильная включается, только когда первая «сомневается», и после передачи управления остаётся под присмотром. На OSWorld связка с Qwen3.5-35B-A3B набрала 73,66% успешных задач при $0,4117 за задачу. Постоянно работающий Claude Opus 5 показал 72,90%. Выходит, что LEASH не уступает ему по качеству и обходится на 19,2% дешевле.

Проблема: длинные задачи и дорогой инференс

Агенты, которые управляют компьютером, решают задачи из десятков шагов: открыть приложение, найти файл, поправить настройки, проверить результат. Фронтирная модель на каждом шаге быстро раздувает счёт. Маленькая open-weight модель сама часто не доходит до конца. Слабо-сильная эскалация обещает компромисс, но упирается в вопрос: когда именно звать сильную модель? Для ответа нужен сигнал, который можно проверять на каждом шаге почти бесплатно.

Есть и вторая проблема. Сильного агента обычно получают через закрытый API, поэтому заглянуть в его внутренние состояния нельзя. Даже после передачи управления он может заблудиться, а контролировать его нечем.

Как устроены три слоя LEASH

Фреймворк работает без обучения и держится на скрытых состояниях слабой модели. Авторы сравнивают их с состояниями из прошлых успешных и неудачных траекторий. Чем сильнее текущее состояние похоже на провальные, тем выше оценка неуверенности. Оценщик переиспользует активации, которые модель и так считает при генерации действия. Дополнительный forward pass и отдельный обученный монитор не нужны.

Этот сигнал питает три слоя:

• начальная неуверенность по задаче: ранняя маршрутизация, нужна ли сильная модель с первого шага;
• пошаговая неуверенность: эскалация прямо во время выполнения, когда слабый агент начинает «плыть»;
• теневой наблюдатель: продолжает следить за сильным black-box агентом уже после передачи управления.

Имя LEASH («поводок») описывает идею довольно точно: сильного агента спускают с поводка по необходимости и после этого не отпускают совсем.

Что показал OSWorld

Эксперименты шли на OSWorld с четырьмя современными бэкбонами. Результаты по тексту работы:

• LEASH стабильно лучше самостоятельных слабых агентов;
• при одинаковой доле эскалаций он обходит случайную эскалацию на 6,55–11,94 пункта;
• Qwen3.5-35B-A3B + LEASH: 73,66% успеха и $0,4117 за задачу;
• Claude Opus 5 в режиме always-on: 72,90%;
• экономия на инференсе относительно always-on: 19,2%.

Из последнего пункта можно прикинуть, что полный прогон на Opus 5 стоит около $0,51 за задачу. Это наш расчёт, в самой работе такая цифра в аннотации не приводится. Разрыв в точности в 0,76 пункта на одном бенчмарке лучше не раздувать. Но направление понятно: умная маршрутизация догоняет флагман по качеству и выигрывает в цене.

Где это пригодится и где подвох

Для команд, которые строят агентов поверх API фронтирных моделей, схема выглядит практично. Основную работу берёт локальная или дешёвая open-weight модель, а дорогой вызов остаётся для сложных мест. Чем длиннее сценарии, тем заметнее эффект: счёт растёт с числом шагов, а эскалация срабатывает редко.

Есть и ограничения. Метод требует доступа к скрытым состояниям слабой модели, так что подойдёт только self-hosted или open-weight вариант. Нужна и база прошлых траекторий с разметкой успеха и провала, пусть обучать ничего не придётся. Проверка пока ограничена OSWorld, а как сигнал поведёт себя на других интерфейсах и в нестандартных приложениях, неизвестно. Прежде чем тащить LEASH в продакшен, стоит собрать собственный набор траекторий и посмотреть, насколько сигнал неуверенности согласуется с реальными провалами в ваших задачах.