LoopOPD учит зацикленные языковые модели улучшаться за счёт собственных циклов

Команда авторов препринта arXiv:2610.10623 предложила LoopOPD, метод пост-обучения для зацикленных языковых моделей (LoopLM). В таких моделях один набор параметров применяется многократно, и «глубина» рассуждения растёт без увеличения числа весов. Идея работы: финальный цикл модели знает больше промежуточного, значит, он может быть для него учителем. Внешняя модель и закрытые данные при этом не нужны. Эксперименты проведены на моделях Ouro-Thinking. Они показали рост в математике и перенос улучшений на общие рассуждения и код, хотя обучали только на математических данных.

Какую проблему решают

LoopLM экономят параметры: вместо новых слоёв модель делает дополнительные проходы по тем же весам. Но с пост-обучением у них сложности. По словам авторов, у существующих подходов два слабых места. Награда за итоговый ответ даёт разреженный сигнал, а распространять её на каждый цикл дорого. Дистилляция из внешней модели упирается в доступность подходящего учителя и в рассогласование контекста: учитель и ученик видят задачу по-разному.

LoopOPD обходит оба ограничения. Замороженная политика терминального цикла играет роль учителя с «привилегией вычислений»: у неё просто больше итераций за плечами. Учится промежуточный цикл, причём на ответах, которые он сам сгенерировал (on-policy). Сигнал получается плотным, по токенам, а не только по итогу решения. Распределение данных при этом совпадает с тем, на котором ученик реально работает.

Динамический учитель

В базовой версии учитель заморожен. Но общие параметры обновляются, и терминальный цикл меняется вместе с ними. В D-LoopOPD учителя регулярно обновляют, чтобы он следовал за моделью. Авторы называют это рекуррентным самоулучшением: улучшенный ученик, опираясь на общие веса, делает сильнее и финальный цикл, а тот задаёт более высокую планку на следующем шаге.

Есть и теоретическая часть. Авторы описывают, как обновления от дистилляции распространяются по глубинам циклов, и выводят достаточные условия, при которых один шаг даёт локальное улучшение сразу на двух глубинах. Это важно, потому что общие веса: подтягивая один цикл, легко ухудшить другой.

Из аннотации известно следующее:

• метод: кросс-цикловая on-policy дистилляция, учитель и ученик — разные глубины одной LoopLM;
• варианты: LoopOPD с замороженным учителем и D-LoopOPD с обновляемым;
• модели: семейство Ouro-Thinking;
• обучающие данные: только математика;
• результаты: рост в математических рассуждениях, дополнительный выигрыш у D-LoopOPD, перенос на общие рассуждения и генерацию кода;
• внешний учитель и привилегированная информация не требуются;
• код и чекпоинты выйдут после принятия статьи.

Что остаётся неясным

В аннотации нет конкретных чисел: ни размеров моделей, ни названий бенчмарков, ни величины прироста. Оценить масштаб эффекта по ней нельзя, нужен полный текст и таблицы. Версия v1 — препринт, рецензирования он ещё не прошёл, а код пока закрыт, так что воспроизвести результаты сейчас никто не сможет.

Что проверить практикам

Если вы работаете с LoopLM или планируете рекуррентные архитектуры, вот на что смотреть в полной версии. Во-первых, сколько дополнительных вычислений стоит один шаг дистилляции по сравнению с RL с наградой. Во-вторых, как часто обновляется учитель в D-LoopOPD и нет ли дрейфа, при котором ученик и учитель вместе уходят в неверную сторону. В-третьих, насколько перенос с математики на код устойчив за пределами одной семьи моделей. Если окажется, что самодистилляция по глубине работает широко, это дешёвая альтернатива внешним учителям для небольших моделей с повторным вычислением. До публикации чекпоинтов лучше считать результат многообещающей гипотезой.