TraceSpec поднял пропускную способность DSpark для LLM-агентов на 12,5–22,6%

Команда из Renmin University of China и Huawei представила TraceSpec — связку из набора для оценки и метода обучения черновой модели в спекулятивном декодировании агентов. Идея в том, что агент делает десятки обращений к модели по растущей истории из рассуждений, действий и ответов инструментов, а привычная средняя метрика принятия токенов смешивает совершенно разные решения. TraceSpec разбирает эти решения по отдельности и затем учит черновик там, где он чаще всего не совпадает с целевой моделью. На Qwen3 размером 4B, 8B и 14B при двух температурах пропускная способность в режиме повтора выросла на 12,5–22,6% относительно базового DSpark.

Почему средняя метрика обманывает

Авторы сначала измерили, как спекулятивное декодирование ведёт себя в живой работе агента. Использовали два сценария: BrowseComp-Plus (поиск ответов по веб-документам) и SWE-bench Verified (исправление реальных багов в репозиториях). Для DSpark с Qwen3-8B средняя принятая длина в браузинге выросла с 3,633 токена за раунд при контексте до 2k до 5,479 при контексте 16k–32k. Пропускная способность за тот же интервал упала с 82,73 до 22,54 токена в секунду. В программной инженерии она снизилась с 73,83 до 28,19 токена в секунду.

Само по себе это выглядит как «длинный контекст помогает черновику». Но когда исследователи сравнили сопоставимые поздние действия браузинга внутри одних и тех же задач, принятие, наоборот, снижалось. Рост средней метрики объясняется составом вызовов: в длинных историях больше коротких предсказуемых запросов к инструментам. В SWE-сценарии кривая вообще немонотонна: принятая длина достигает пика на 8k–16k и падает на 16k–32k у всех трёх проверенных методов — DFlash, EAGLE-3 и DSpark.

Как устроены корпус и обучение

Для честного сравнения создан TraceSpec-Traj: 10 000 обучающих и 2 500 тестовых состояний, поровну между веб-исследованием и программной инженерией. Состояние — это история до очередного хода ассистента вместе с фазой (планирование, действие, рефлексия, финальный ответ), длиной префикса и положением в траектории. Корпус покрывает все 40 комбинаций из двух доменов, пяти диапазонов контекста и четырёх фаз. Траектории собраны из DeepResearch-traj, данных Nebius SWE-agent и коллекций R2E-Gym; задачи из обучающей и тестовой частей не пересекаются. Все пять базовых методов в повторе получают одинаковые сохранённые префиксы.

Сам TraceSpec сохраняет архитектуру и функцию дистилляции DSpark. Меняются данные и их доля в обучении. Вместо финальных ответов черновик учат на всех промежуточных ходах траекторий, сгенерированных целевой моделью. Для каждого состояния оценивают разрыв в принятии с поправкой на префикс: раннее расхождение обрывает цепочку подряд принятых токенов, поэтому его вес выше. Оценку сглаживают по контексту, фазе, типу задачи и состоянию инструмента. Бюджет предсказаний фиксирован, а короткие запросы к инструментам и длинные рассуждения дают разное число предсказаний, поэтому выборку нормируют на число событий.

Что показали эксперименты и где границы

Авторы сравнили TraceSpec и пять базовых методов в 108 конфигурациях. В повторе он лидирует во всех 24 сравнениях по фазам. По пропускной способности генерации он обходит DSpark в 15 из 18 настроек, то есть выигрыш есть не везде. Среди базовых методов DSpark показал наибольшую принятую длину во всех 18 сравнениях, а при переходе от температуры 0 к 1 принятая длина падает у каждого из них.

Абляции на Qwen3-4B показывают вклад отдельных частей. Адаптивное распределение бюджета повышает принятую длину на 3,3–10,0% по сравнению с фиксированным обучением на полных ходах. Дополнительные сравнения подтверждают пользу условий состояния и учёта подряд принятых токенов.

Ограничения тоже видны. Основной прирост 12,5–22,6% измерен в повторе сохранённых префиксов, а не в сквозной задержке эпизодов. Проверены только модели Qwen3 и два сценария, браузинг и программирование. Фрагмент статьи обрывается на анализе стоимости эпизодов, поэтому сквозной выигрыш по времени задачи здесь подтвердить нельзя. Практический вывод для тех, кто обслуживает агентов: перед дообучением черновика стоит разложить принятие по фазам и положению в траектории. Код и ресурсы авторы опубликовали на GitHub в репозитории Robot2050/TraceSpec.