STI-OPD: учитель вероятностно подменяет действия агента и бьёт OPD-бейзлайны

Команда авторов препринта arXiv:2610.10878 предложила STI-OPD — вариант on-policy дистилляции для агентов, которые работают в несколько ходов. Идея в том, что учитель с некоторой вероятностью подменяет действие студента своим, а вероятность вычисляется из расхождения политик. По утверждению авторов, метод опережает сильнейший прежний OPD-бейзлайн на каждом оцениваемом бенчмарке и для каждого размера студента. Конкретных процентных приростов в аннотации нет, их нужно искать в полном тексте работы.

Где ломается on-policy distillation

OPD устроена просто. Студент сам генерирует траектории, а учитель на каждом токене даёт плотный сигнал: насколько его распределение отличается от студенческого. Такой подход уже показал себя на сложных задачах вроде математических рассуждений, где вся генерация укладывается в один длинный ответ.

В агентных сценариях всё хуже. Студент выбирает действие, среда отвечает наблюдением, и это наблюдение определяет следующий шаг. Ранняя ошибка тянет за собой следующие. Через несколько ходов траектория оказывается в области, где учитель сам никогда бы не оказался. Его токен-уровневая разметка на таких состояниях становится менее надёжной, а местами вредной: студента учат исправлять ситуацию, которой в нормальном прохождении задачи просто нет.

Как устроен STI-OPD

Во время многошагового взаимодействия метод измеряет расхождение между политиками учителя и студента через KL divergence и превращает его в вероятность вмешательства. Затем для каждого шага случайно решается, оставить действие студента или заменить его сгенерированным учителем. Чем сильнее траектория уходит от учителя, тем выше шанс, что он возьмёт управление и вернёт её в зону надёжного сигнала.

Авторы противопоставляют это прежним схемам с жёстким порогом расхождения или фиксированным расписанием вмешательств. Вероятностный вариант, по их словам, лучше балансирует контроль учителя и исследование со стороны студента: студент не лишается самостоятельных шагов, но и не уезжает слишком далеко.

У смешанных траекторий есть техническая цена. Часть токенов написал учитель, и они не соответствуют распределению студента, поэтому обычная цель OPD становится смещённой. Для коррекции вводится Importance-Weighted Reverse KL: он учитывает расхождение между сэмплированием токенов учителем и политикой студента и сохраняет исходную цель OPD.

Основные элементы метода:

• вмешательство управляется KL-расхождением политик учителя и студента;
• расхождение отображается в вероятность, а решение принимается сэмплированием;
• подмена действия происходит на уровне шага в многоходовом взаимодействии;
• обучение на смешанных траекториях идёт через Importance-Weighted Reverse KL;
• оценка охватывает tool-integrated reasoning и долгие взаимодействия (long-horizon).

Что показали эксперименты

Согласно аннотации, STI-OPD превосходит сильнейший предыдущий OPD-бейзлайн на каждом бенчмарке и при каждом размере студенческой модели. Абляции отдельно показывают, что вклад вносят оба компонента: вмешательство, ведомое расхождением, и importance weighting. Без любого из них выигрыш уменьшается.

Ограничения тоже видны. Метод требует учителя, который доступен прямо во время обучения и может генерировать действия по запросу, а это стоимость инференса сильной модели на каждом шаге. Результаты пока описаны только в препринте, независимых воспроизведений нет, а полная таблица метрик в анонсе не приведена.

Кому это пригодится

Команды, которые дистиллируют большие модели в компактных агентов для работы с инструментами, кодом или длинными диалогами, получают конкретный рецепт против дрейфа траекторий. Проверить его можно на своём пайплайне: достаточно логировать KL между политиками на каждом шаге и сравнить пороговое вмешательство с вероятностным. Если ваш учитель дорог в инференсе, имеет смысл заранее оценить, какая доля шагов в итоге уходит на его действия. Корректирующий importance-вес стоит добавлять сразу, иначе при подмене токенов легко потерять соответствие исходной цели OPD.