Apple разобралась, когда on-policy distillation помогает обучению моделей

Исследователи Apple ML Research опубликовали анализ границ on-policy distillation — техники обучения, при которой модель-учитель дает поэлементное (per-token) руководство reasoning-моделям. Вывод: метод может быть мощным инструментом, но только если его правильно применять.

Что такое on-policy distillation и зачем он нужен

На-policy distillation — это способ обучить новую модель, дав ей очень детальное указание на каждом шаге. Представьте: умный учитель решает задачу вслух, объясняя каждый шаг, а ученик учится не просто на финальном ответе, но и на том, как учитель размышлял по дороге.

Это особенно важно для reasoning-моделей — моделей, которые решают сложные проблемы пошагово, разворачивая логику. OpenAI и другие лаборатории используют подобные подходы при тренировке моделей типа о1 и Claude 3.5 Sonnet. На первый взгляд, чем детальнее руководство, тем лучше должен учиться ученик.

Когда это действительно помогает, а когда может навредить

Apple разобралась, что всё сложнее. Ключевые вопросы остаются открытыми:

• Какой model выбрать в качестве учителя (сильнее — не всегда лучше)
• Какой контекст использовать при self-distillation, когда модель учится у себя же
• Оптимальный выбор может отличаться от токена к токену

Текущий подход к этим вопросам обычно такой: запустить дорогостоящий training, несколько часов (или дней) считать на GPU, и посмотреть на финальные метрики. Но беда в том, что эти агрегированные показатели скрывают истину: на уровне отдельных токенов методы часто работают совершенно по-разному.

Как Apple предлагает это решить

Исследовательская группа представила training-free подход — способ разобраться в эффективности on-policy distillation БЕЗ дорогостоящих экспериментов. Это позволяет ML-инженерам понять, работает ли метод в их конкретном сценарии, прежде чем запускать полную тренировку модели.

Такие инструменты критичны для крупных лабораторий: каждый час GPU-времени стоит денег, а возможность предсказать результат обучения заранее экономит ресурсы и сроки разработки.

Что это значит для ML-сообщества

On-policy distillation остается мощной техникой, но это исследование показывает, что её нельзя применять механически. Разные задачи, разные модели, разные данные требуют разных решений — и Apple дала инструмент, чтобы эти решения принимать обоснованно, без дорогостоящего trial-and-error.