Синтетическое пред-предобучение LLM не окупается: при равных FLOPs оно проигрывает обычному тексту

Идея звучит красиво: прежде чем скармливать языковой модели терабайты интернета, дайте ей «разминку» на чистой структуре. Клеточные автоматы, языки с правильно вложенными скобками, процедурно сгенерированные последовательности. Мол, модель заранее выучит полезные паттерны, а потом быстрее освоит настоящий язык. Это называется синтетическим пред-предобучением, или PPT.

Свежая работа Rethinking Pre-Pretraining (Александр Стерн, Тим Рокташель, Акир Локателли и Лаура Руис) проверяет эту идею без скидок. И показывает, что красивая гипотеза не переживает честной бухгалтерии.

В чём подвох

Большинство прежних статей про PPT сравнивали модели без оглядки на то, сколько вычислений ушло на синтетический этап. Авторы зафиксировали общий бюджет FLOPs: если часть ушла на синтетику, на естественный текст остаётся меньше. И в таком режиме PPT ни разу не обыграл обучение только на естественном языке.

Пример с цифрами. Берём 100M токенов FineWeb и бюджет 1 × 10¹⁸ FLOPs. Обычное обучение с повторением текста даёт 1.064 бита на байт (BPB) на валидации, и чем меньше, тем лучше. Если отдать на PPT от 1% до 10% вычислений, метрика ухудшается до 1.068–1.076. Разница небольшая, но направление однозначное: вы заплатили вычислениями и получили минус.

Объяснение простое. Когда модель переключается на естественный язык, градиенты быстро перезаписывают структуры, которые она выучила на синтетике. Это как выучить шахматные дебюты, а потом полгода играть в шашки.

Откуда брались прежние успехи

Самая интересная часть работы — разбор того, почему PPT вообще казался полезным. Авторы воспроизвели эксперимент с клеточными автоматами (NCA) на LLaMA с 400M параметров на OpenWebText. Выигрыш от NCA PPT по перплексии составил 5,4%.

Но стоит поменять инициализацию эмбеддингов с 𝒩(0, 1) на 𝒩(0, 0.02), то есть на стандартную для таких моделей, и бейзлайн без всякого PPT улучшается на 9,0%. Это полностью перекрывает пользу от синтетики. Получается, что PPT во многом чинил плохую инициализацию, а не добавлял модели знания.

Кроме того, авторы предложили синтетический корпус для поиска значений переменных (DeclRef) и инструмент LLMTuna: оптимизатор гиперпараметров на базе LLM. Код обоих проектов открыт на GitHub.

Ограничения

Выводы стоит читать с оговорками. Все модели меньше 1B параметров, и неизвестно, ведёт ли себя PPT так же на масштабе в десятки миллиардов. Тест с инициализацией LLaMA и эксперименты с перемешиванием данных проводились без повторного подбора гиперпараметров, так что часть результата может сдвинуться при тонкой настройке.

Отдельно отметим, что это отрицательный результат про конкретный класс методов. Он не отменяет пользу синтетических данных вообще, например для дообучения на код или математику.

Что делать на практике

Если вы обучаете свои модели, особенно небольшие, выводы такие:

• Не добавляйте синтетический PPT-этап в пайплайн «на всякий случай». Он стоит вычислений и, судя по данным, не окупается.
• Прежде чем верить красивому приросту от нового трюка, проверьте базовые вещи: инициализацию, learning rate, шедулер. Слабый бейзлайн легко создаёт иллюзию прогресса.
• Сравнивайте методы при равном бюджете FLOPs, а не при равном числе шагов или токенов естественного текста.

Главный урок шире самой темы: многие «улучшения» в ML на деле лечат плохо настроенный бейзлайн. Если у вас нет сильной контрольной группы с честным бюджетом, вы, скорее всего, измеряете не метод, а собственные недоработки.