Habr: How synthetic data helps train models and why self-training leads to collapse

Синтетические данные стали для индустрии ИИ не модным приемом, а способом продлить рост моделей в условиях дефицита качественного человеческого корпуса. Пока вычисления можно докупить, хорошие данные дорожают, очищаются медленно и часто упираются в ограничения приватности, авторских прав и доступности. Поэтому компании все чаще создают данные сами: генерируют тексты, диалоги, изображения, разметку и сценарии, а затем используют их для дообучения.

Это действительно работает, но лишь до той точки, где модель начинает замыкаться на собственных ответах и постепенно теряет связь с реальным распределением мира. Причина понятна: большая часть открытого интернета уже вычерпана, новые наборы данных стоят дорого, а требования к качеству только растут. Для сильной модели мало просто собрать миллиарды токенов, нужно еще убрать мусор, повторы, ошибки, юридически сомнительные фрагменты и случайную токсичность.

На этом фоне synthetic data выглядит почти идеальным топливом. Ее можно производить быстро, под конкретную задачу и с нужным балансом классов. Если системе не хватает примеров для редких отказов, длинных диалогов, специализированных инструкций или краевых случаев, синтетика позволяет закрыть эти дыры намного быстрее, чем ручной сбор и разметка.

Именно здесь появляется self-training, или самотренировка, когда модель обучают на ответах, которые она или другая модель того же семейства сгенерировала ранее. В умеренной форме этот подход полезен. Сначала сильная система создает черновые примеры, потом более строгий фильтр, правило или человек отсеивает слабые варианты, а финальный набор идет в обучение.

Так можно масштабировать инструкции, синтезировать редкие комбинации признаков и получать дополнительные данные там, где человек не успевает за скоростью экспериментов. В прикладных задачах это особенно ценно для тестирования ассистентов, тренировки систем на формальных правилах и балансировки датасетов, где реальные наблюдения заведомо перекошены. Проблемы начинаются, когда рекурсия перестает быть контролируемой.

Если модель много раз подряд учится на собственных генерациях, она начинает усиливать не только полезные паттерны, но и свои же искажения. Самые частые ответы становятся еще более вероятными, а редкие, шумные и нестандартные случаи вымываются. Это и называют model collapse: распределение данных схлопывается, разнообразие снижается, а система хуже видит границы реальности.

Снаружи деградация может выглядеть не драматично — модель по-прежнему пишет гладко и уверенно, — но внутри теряет глубину. Она реже сталкивается с неожиданными примерами, хуже переносит знания на новые домены и чаще воспроизводит усредненную версию мира, в которой все сложное уже стерто. Поэтому синтетика полезна не как полная замена человеческим данным, а как слой поверх них.

Рабочая схема обычно выглядит так: реальный корпус задает опорное распределение, synthetic data расширяет покрытие, а контроль качества не дает модели съехать в замкнутый контур. Для этого нужны валидация на независимых наборах, примеси свежих человеческих данных, проверка на редкие случаи и фильтры, которые отбрасывают слишком шаблонные генерации. Чем выше доля синтетики, тем важнее помнить, что качество здесь определяется не объемом, а разнообразием и близостью к реальности.

Иначе быстрый выигрыш в стоимости и скорости оборачивается скрытой деградацией, которую можно заметить уже тогда, когда продукт начал хуже работать на живых пользователях. Главный вывод в том, что synthetic data и self-training не отменяют проблему данных, а лишь меняют способ работы с ней. Это мощный ускоритель, если использовать его дозированно и под контролем.

Но если превратить генерацию в бесконечное зеркало, модель начнет учиться не миру, а собственной статистической тени. Для следующего этапа развития ИИ победят не те, кто просто синтезирует больше, а те, кто сумеют сохранить контакт с реальностью и разнообразием исходных данных.