Поправка DLC удержала KL до on-policy обучения Qwen3 в пределах двух шумовых порогов

В RL-обучении языковых моделей ответы генерирует один движок инференса, например vLLM, а градиенты считает отдельный тренер. Формально обучение считается on-policy: ответы должны браться из текущей политики. На практике вероятности токенов у двух систем различаются, и данные становятся off-policy. Новая работа с arXiv объясняет, откуда берётся это рассогласование и как оно развивается по ходу обучения. Авторы предлагают поправку DLC (discrepancy-lag correction). При устаревшем семплере она удерживает KL-дивергенцию до on-policy обучения в пределах двух шумовых порогов. Шумовой порог здесь — это KL между двумя независимыми on-policy обучениями. Результат получен на Qwen3-0.6B и Qwen3-1.7B.

Два источника рассогласования

Первый источник — численная неточность движка. У него собственные ядра и точность вычислений, поэтому даже на тех же весах он выдаёт распределение, отличное от тренерского. Квантованные семплеры расширяют этот разрыв. Второй источник — устаревшие веса при асинхронной генерации. Семплер держит веса последней синхронизации, пока тренер уходит вперёд. Так устроены, например, асинхронные системы вроде AReaL.

Авторы прогоняют тренер на весах семплера и получают точное разложение ошибки на токене на два слагаемых: численное расхождение и отставание политики (policy lag). Численное расхождение остаётся примерно постоянным, поэтому смещает обновления на почти фиксированную величину. Центрирование score на каждом префиксе убирает его главную часть.

С отставанием сложнее. Его порождают собственные обновления тренера. Смещение, оставшееся после коррекции, попадает в следующее обновление, а оно увеличивает следующее отставание, и возникает петля обратной связи. Importance weighting разрывает петлю, только пока отношение вероятностей остаётся сконцентрированным. Границу задаёт эффективный размер выборки (ESS) этого отношения: когда он падает ниже 0,5, метод перестаёт работать. На Qwen3-1.7B из-за тяжёлого хвоста отношения ESS пересекает порог на шаге 11, на три шага раньше гауссова прогноза. Именно на этом шаге importance sampling уходит с шумового уровня. Кроме того, избыточная норма обновления у центрирования score по сравнению с importance sampling содержит положительный квадратичный член по произведению скорости обучения и числа шагов.

Как устроена DLC

Поправка повторяет это разложение и состоит из трёх частей:

• центрирует численное расхождение;
• обрезает (клипирует) отношение отставания относительно весов семплера;
• синхронизирует семплер заново, когда ESS отношения отставания падает ниже 0,5.

При устаревшем семплере DLC держит Qwen3-1.7B на шумовом уровне до шага 40. В трёх запусках DLC синхронизация срабатывала по условию ESS ниже 0,5. У importance sampling ESS после шага 11 остаётся ниже 0,5. На обеих моделях отклонение от on-policy обучения не превышает двух шумовых порогов. Принудительная синхронизация предотвращает коллапсы, которые остаются при коррекциях по отдельным токенам. Обычный KL, измеренный на префиксах самого семплера, эти коллапсы не обнаруживает.

Почему прежние поправки ведут себя по-разному

Работа объясняет разброс результатов в предыдущих исследованиях. Усечённый importance sampling взвешивает каждый токен усечённым отношением вероятностей. Центрирование score вычитает средний score семплера на префиксе. PPO обрезает отношение тренера к опорной политике. Центрирование стабильно работает с квантованным семплером, но уступает importance sampling при устаревшем: в прежних экспериментах семплер синхронизировали раз в 64 шага. PPO переживает устаревание, но ломается при квантовании и синтетическом шуме весов. Коллапс асинхронного GRPO при устаревании растёт вместе с произведением устаревания и скорости обучения.

Авторы делят и инфраструктурный слой. Top-p-сэмплинг, повторная токенизация текста, фильтрация ответов по награде и отложенные длинные ответы тоже создают рассогласование. Их убирают на уровне инфраструктуры: семплер сообщает реально использованное распределение, тренеру передают идентификаторы токенов, батчи формируют независимо от исхода. После этого до алгоритма доходят только версия весов и численность движка. Отставание весов лечат decoupled PPO, M2PO и VCPO, который масштабирует скорость обучения по ESS. Численное расхождение корректируют усечённый importance sampling и центрирование score.

Практический вывод: выбор поправки зависит от того, растёт ли ошибка вместе с обновлениями. Универсального средства нет. В асинхронном RL полезно следить за ESS отношения весов и считать его сигналом для синхронизации. Эксперименты ограничены моделями Qwen3-0.6B и Qwen3-1.7B, поэтому перенос на более крупные модели нужно проверять отдельно.