StopLoss прерывает обречённые запуски кодинг-агентов и экономит до 48% затрат

Кодинг-агенты упорно дорабатывают решения, которые всё равно провалят верификацию, и каждый лишний шаг оплачивается токенами. Попытка поручить наблюдение за этим фронтирной модели упирается в ту же проблему: сам наблюдатель стоит дорого. Авторы работы StopLoss предлагают маленький внешний монитор, который читает последние шаги агента и вовремя останавливает запуск. На SWE-bench Verified он снижает стоимость одного сохранённого решения на 4,5%, удерживая 99% успешных запусков. На более дорогом подмножестве SWE-bench Pro экономия достигает 31%, а с Qwen3-8B в качестве базовой модели доходит до 48%.

Как устроен монитор

Название взято из биржевого стоп-лосс ордера: позиция закрывается автоматически, когда убыток становится вероятнее прибыли. Здесь «позиция» — это запуск агента. Монитор принимает решение об аборте, когда оценка риска провала превышает порог.

Обучение строится на уже завершённых траекториях и вердиктах верификатора. Итог всего запуска, успех или провал, присваивается более ранним локальным окнам: нескольким последним вызовам инструментов. Получается обучающая выборка без ручной разметки. Дообученная языковая модель оценивает такое окно за один прямой проход, без длинных рассуждений и без генерации текста. Порог калибруется на успешных запусках, чтобы не прерывать те, что дошли бы до решения. Исполнитель при этом остаётся нетронутым: монитор подключается снаружи и не требует менять агента или его промпты.

Тренировали модель на траекториях семейства GPT из SWE-rebench. Проверяли на SWE-bench Verified и подмножестве SWE-bench Pro, причём исполнителями выступали и GPT, и Claude. Базой для сравнения стали шесть универсальных LLM-судей, которым давали точно такие же окна.

Что показали замеры

У судей общего назначения предсказание провала на первой проверке близко к случайному. Обучение на исходах поднимает его до полезного сигнала. Кроме того, каждая проверка стоит на один-два порядка меньше, чем у любого из протестированных судей. Именно это делает раннюю остановку экономически осмысленной: если сама проверка дорога, она съедает выигрыш от прерванных запусков.

• Стоимость одного сохранённого решения на Verified: −4,5% относительно прогона всех задач до конца, при сохранении 99% успешных запусков.
• На подмножестве Pro: до −31%, а с базой Qwen3-8B — до −48%.
• Стоимость проверки: на один-два порядка ниже, чем у любого из шести судей.
• Во всех четырёх конфигурациях стоимость сохранённого решения у StopLoss ниже, чем у любой судейской политики.
• Исполнитель не меняется, порог настраивается по успешным запускам.

Разница между бенчмарками показательна. На Verified задачи дешевле, и экономить почти нечего: 4,5% — скромная цифра. На Pro, где один провальный запуск обходится заметно дороже, прерывание неудач окупается сильнее. Эффект растёт вместе с ценой ошибки.

Где это пригодится на практике

Метрика «стоимость сохранённого решения» полезнее стоимости запуска. Она учитывает и сэкономленные токены, и потерянные из-за ложных остановок успехи. Командам, которые гоняют агентов массово, например на автоматическом исправлении багов в CI, имеет смысл считать именно её.

Подход не требует доступа к внутренностям исполнителя и опирается на данные, которые у большинства команд уже есть: логи траекторий и результаты тестов. Небольшой монитор можно дообучить на собственных запусках и подобрать порог под приемлемую долю потерянных успехов. В работе это 1% на Verified.

Есть и ограничения. Результаты получены на двух бенчмарках по задачам программной инженерии, а обучающие траектории относятся к семейству GPT. Как монитор поведёт себя на другой доменной нагрузке и на других агентных обвязках, статья не показывает. Однако идея очевидна: если провал можно распознать дёшево, ждать конца запуска необязательно.