Из 1 598 RL-статей в фреймворки дошли 37: аудит семи open-source стеков

Новый анализ семи открытых фреймворков для RL-постобучения языковых моделей показывает, как узок путь от статьи до рабочего кода. Авторы разобрали историю коммитов и связали её с 6 939 отобранными работами на arXiv с января 2025 по июнь 2026. Из 1 598 статей, предлагающих общий метод RL-обучения, хотя бы в одном фреймворке оказались только 37. Это около 2,3%.

Для практиков это важно по простой причине: если метод есть во фреймворке, он доступен одной строкой в конфиге. Если нет, его нужно переписывать самому, а на масштабе в десятки миллиардов параметров это дорого и рискованно.

Поток статей растёт, а очередь на включение стоит

Авторы разбили работы на пять квартальных когорт. Размер когорты вырос с 72 до 386 статей, то есть в 5,4 раза. Число методов, которые фреймворки включили в течение 180 дней, при этом оставалось в коридоре от 5 до 7. Грубая прикидка по границам коридора: на старте это порядка 7–10% когорты, к концу периода всего 1,3–1,8%.

Узкое место, судя по всему, находится не в генерации идей, а в ресурсах мейнтейнеров. Каждая новая реализация требует тестов, поддержки и совместимости с остальным кодом.

Что проходит отбор

Включённые статьи заметно отличаются от остальных работ тех же кварталов:

• Политики от 30B параметров: 41% у включённых против 10% у остальных.
• Правка коэффициента, clip, маски или веса в существующей функции потерь: 29% против 9%.
• Публикация кода: одинаково часто в обеих группах, так что открытый репозиторий не даёт преимущества.
• Оба разрыва сохраняются, если убрать статьи компаний, которые сами поддерживают фреймворки.

Последний пункт снимает очевидное возражение, что фреймворки просто берут «свои» работы. Картина шире: проходят методы, проверенные на больших моделях и встраиваемые малой правкой. Если статья требует нового компонента или перестройки пайплайна, шансов меньше.

Отказов почти не видно

Самое необычное наблюдение касается публичных обсуждений. В issues и pull request'ах методы редко отклоняют открыто. Более чем у девяти из десяти общих методов, которые не вошли ни в один фреймворк, там нет ни одной ветки, где их цитировали бы или называли. Многие предложения, которые всё же появляются, остаются открытыми без ответа. Метод не получает отказа, он просто не попадает в поле зрения.

Две дополнительные проверки дополняют картину. Пользователи редко публично сообщают о сбоях обучения, поэтому у мейнтейнеров мало сигналов о том, какие методы реально нужны. А в технических отчётах 13 крупных open-weight моделей названы 8 из 13 широко включённых методов. Выходит, сильным рычагом оказывается практика больших лабораторий, а не только качество самой статьи.

Трекер для тех, кто выбирает метод

Авторы публикуют данные в виде трекера. Он связывает сбои обучения с реализациями во фреймворках, а также перечисляет правила контрибуции каждого проекта и прежние предложения методов.

Для команд, которые обучают модели, из этого следует несколько выводов. Перед тем как брать метод из свежей статьи, стоит проверить, есть ли он во фреймворке и в каком статусе висит его issue. Отсутствие реализации не говорит о слабости метода, но означает, что вы будете проверять его в одиночку. Исследователям, которые хотят видеть свои идеи в стеках, полезно оформлять метод как небольшую правку коэффициента, clip или маски в существующем лоссе и проверять его на моделях от 30B. А пользователям фреймворков стоит чаще описывать сбои публично: сейчас это почти не происходит, и мейнтейнеры выбирают методы вслепую.