OPST: модель дообучает себя на собственных вопросах без людей

Можно ли улучшить языковую модель, не показав ей ни одного вопроса и ни одного ответа, написанных человеком? Леон Сик, Лукас Хойер, Янник Штрюмплер, Кристиан Райсвиг, Тимо Ропински и Федерико Томбари отвечают: да. Их метод On-Policy Self-Training (OPST) опубликован в препринте arXiv 2610.32770 и в дайджесте Hugging Face Daily Papers. Модель сама строит себе учебную программу, сама решает задачи и сама на этом растёт. Человек задаёт лишь крупные тематические рубрики.

От самодистилляции к самообучению

On-policy self-distillation уже стала рабочим способом постобучения: фундаментальную модель дообучают без сильного внешнего учителя. Роль учителя играет она же сама, но с «привилегированной» информацией. Это, например, готовое решение или демонстрация рассуждения, которых у ученика в контексте нет. Ученик тренируется на собственных генерациях и подтягивается к поведению учителя.

У существующих подходов есть слабое место. Привилегированная информация всё равно приходит из эталонных пар «вопрос — ответ», размеченных наборов задач или других надзорных сигналов. Авторы убирают этот последний костыль. Они переформулируют самодистилляцию как самообучение: и вопросы, и ответы, и демонстрации рассуждений порождает сама модель.

Как модель сама себе ставит задачи

Пайплайн OPST собирается из нескольких звеньев:

• Тематические описания верхнего уровня. Единственный внешний вход. Это грубые формулировки областей знаний без конкретных задач.
• Самогенерируемые вопросы и ответы. По каждой теме модель сочиняет собственный набор запросов, то есть свою учебную программу.
• Привилегированные трассы рассуждений. Для каждого вопроса модель формирует демонстрацию решения. Она служит сигналом «учителя» в самодистилляции.
• Фильтр псевдопроверки. Задача остаётся, только если модель воспроизводит свой ответ в свежем контексте и при перефразированном вопросе. Так отсеиваются случайные и нестабильные ответы, то есть галлюцинации.
• On-policy самодистилляция. Обучение идёт на сгенерированных моделью траекториях, а не на чужих данных.
• Visual OPST. Расширение на мультимодальные входы, с проверкой на Visual Question Answering.

Фильтр, пожалуй, самая важная деталь. Без внешней разметки у модели нет способа узнать, права ли она. Авторы подменяют истину самосогласованностью. Если ответ воспроизводится в чистом контексте и переживает перефразирование, он, скорее всего, не случайный артефакт одной генерации. Это не гарантия правильности, но дешёвый и масштабируемый сигнал качества.

Что проверяли и что получилось

Авторы оценивали метод в трёх плоскостях. Первая плоскость — улучшение внутри домена, на котором модель самообучалась. Вторая — сохранение знаний на внешних бенчмарках, когда домены генерации смешивают. Это прямой тест на «забывание»: самообучение на синтетике нередко ломает то, чему модель училась раньше. Третья — перенос на мультимодальные входы через Visual OPST.

Вывод авторов: OPST улучшает и языковое, и мультимодальное рассуждение без человеческих вопросов и ответов и превосходит альтернативные стратегии обучения. Модель растёт сразу в нескольких доменах и при этом не теряет навыков в тех областях, где её не дообучали. В аннотации к статье сказано, что у фундаментальных моделей есть богатые скрытые способности, которые можно усилить без внешней задачной разметки и без отобранных распределений задач.

Почему это важно для индустрии

Узкое место постобучения давно сместилось с вычислений на данные. Качественные размеченные задачи с проверяемыми ответами стоят дорого, а хорошие открытые наборы быстро «выгорают» и попадают в обучающие корпуса. Метод, которому хватает тематических рубрик, снижает порог входа для команд без больших бюджетов на разметку. Он же открывает путь к адаптации моделей в нишах, где экспертных датасетов нет вовсе.

Есть и оговорки, о которых стоит помнить практикам. Самосогласованность не равна истинности: модель может стабильно воспроизводить одну и ту же ошибку, и фильтр её пропустит. Потолок самоулучшения определяется тем, что уже заложено в базовой модели, и авторы сами говорят об усилении скрытых способностей, а не о появлении новых знаний. Поэтому для команд, которые дообучают собственные модели, разумный первый шаг такой. Взять метод как дополнение к существующему постобучению, держать отложенную выборку с внешней проверкой и отдельно следить за деградацией на не связанных доменах. Именно этот параметр авторы изучали в первую очередь.

Главный практический вопрос теперь в том, как далеко такая схема масштабируется по размеру модели и числу итераций самообучения. Статья показывает, что даже при нулевом человеческом надзоре сигнал для роста можно добыть из самой модели.