«Wait» в reasoning-моделях оказался наследством данных, а не открытием RL

Слово «wait» в цепочках рассуждений давно стало визитной карточкой reasoning-моделей: модель пишет его, останавливается и возвращается к предыдущему шагу. Принято считать, что это изобретение reinforcement learning, которое само нашло полезную привычку сомневаться. Новая работа с Hugging Face Daily Papers проверила это по истории обучения открытых моделей и пришла к другому выводу. На базовых моделях, где слова нет, RL существенно повышает точность на MATH-500, а «wait» остаётся почти незаметным. Маркер приезжает вместе с данными.

Как искали происхождение одного слова

Авторы не стали разбираться, что модель «имела в виду». Они прошли по обучающим траекториям открытых моделей и считали индексы по сэмплам их ответов, без ручной разметки. Индексы четыре: частота слова, его позиция в рассуждении, форма (как именно оно написано и оформлено) и характер употребления. Пятый инструмент — тест с внедрённой ошибкой. В рассуждение подкладывают неверный шаг и смотрят, реагирует ли модель на него словом «wait». Так видно, работает ли маркер как сигнал тревоги или просто стоит в тексте для вида.

Результат по чистому zero-RL однозначный: он почти никогда не рождает маркер. Если у базы слова нет, RL всё равно поднимает MATH-500, но «wait» не появляется. Значит, точность и это слово связаны слабее, чем принято думать.

Откуда слово берётся на самом деле

Маркер появляется вместе с данными. В OLMo-3 его приносит mid-training. В большинстве моделей, у которых база его не использует, слово устанавливает дообучение на трассах рассуждений.

Интереснее случаи, когда база уже умеет писать «wait». Здесь рецепты расходятся:

• оба опубликованных RL-Zero рецепта (OLMo-3 и MiMo) умножают частоту слова;
• KL-free GRPO с той же базы этого не делает;
• рецепт OLMo-3 стирает форму маркера и делает его более чувствительным, но и более «либеральным» сигналом тревоги: он срабатывает чаще, в том числе без реальной ошибки;
• RL после supervised fine-tuning почти не меняет маркер;
• GRPO-рецепт самих авторов убирает маркер, посеянный дообучением.

Последний пункт особенно показателен. Один и тот же класс алгоритмов в зависимости от настроек может усилить слово, оставить его как есть или вычистить. Поведение определяется конкретным рецептом, а не самим фактом применения RL.

Ловушки для тех, кто измеряет рассуждение

Главный практический вывод касается метрик. Частота «wait» сама по себе не показывает, что рассуждение сформировал именно RL. Высокий счётчик может означать, что слово унаследовано от данных, а низкий не означает, что модель не умеет пересматривать решения. На базах без маркера RL вообще давал прирост без него.

Второе предупреждение адресовано любителям автоматической оценки. Авторы призывают осторожнее относиться к метрикам пересмотров, посчитанным через LLM-as-a-judge: автоматические судьи способны развернуть тренды, найденные людьми-разметчиками. Если в вашем пайплайне доля «самопроверок» считается другой моделью, цифры могут показывать обратное тому, что видит человек.

Что менять в практике обучения

Команде, которая строит собственную reasoning-модель, из этой работы следуют несколько вещей.

• Рост частоты «wait» в логах нельзя засчитывать как доказательство того, что RL научил модель рассуждать. Сначала нужно выяснить, был ли маркер в базе, в mid-training или в SFT-данных.
• Сравнивать рецепты нужно на одной базе. Разница между RL-Zero в OLMo-3 и MiMo и KL-free GRPO показывает, что результат зависит от деталей.
• Тест с внедрённой ошибкой дешевле и надёжнее подсчёта слов. Он проверяет, реагирует ли модель на реальную ошибку, а не только пишет нужное слово.
• Автоматическим судьям для оценки пересмотров нужна сверка с человеческой разметкой на выборке, иначе тренд легко получить с обратным знаком.

Для индустрии это сдвиг в разговоре о происхождении reasoning-способностей. Часть поведения, которое приписывали RL, закладывается данными на более ранних этапах. Это важно для тех, кто решает, где вкладывать вычисления: в качество трасс на mid-training и SFT или в сам RL-цикл.