Bridged Self-Distillation учит малые модели рассуждать у любого учителя, даже по API

Дистилляция рассуждений от сильной модели к маленькой давно упирается в две проблемы: ученик не может повторить решения учителя, а токенные вероятности учителя либо несовместимы с его словарём, либо вообще недоступны. Авторы статьи Bridged Self-Distillation (BSD) предлагают единую схему, которая закрывает три сценария сразу: учитель с тем же токенизатором, учитель с другим токенизатором и закрытая модель за API. От учителя требуется одно: выдать текст рассуждения.

Где ломается обычная дистилляция

On-policy дистилляция устроена логично. Ученик сам генерирует ответы, а учитель оценивает их, так что обучение идёт на распределении, которое ученик реально производит. Это снимает перекос между обучающими данными и поведением модели на инференсе. Но у метода есть ограничения.

Первое: решения сильного учителя могут быть слишком сложными для маленькой модели. Ученик не в состоянии воспроизвести цепочку, которую выдал гигант, и обучение превращается в погоню за недостижимой целью. Второе: для токен-уровневого сигнала нужны вероятности учителя в пространстве токенов ученика. При разных токенизаторах они плохо сопоставляются, а у закрытых API их часто просто нет. Раньше каждую ситуацию решали своим видом надзора, и универсального рецепта не существовало.

Как BSD обходит несовместимость токенов

Идея в том, чтобы вынести учителя за скобки и оставить в цикле только его текст. Внешний учитель заранее пишет reasoning trace, причём это можно сделать офлайн, один раз. Трейс становится привилегированным контекстом.

Дальше работают две копии одной и той же модели. Ученик генерирует роллауты без доступа к трейсу, как будет делать на реальных задачах. Вторая копия, self-teacher, получает тот же трейс в контексте и оценивает именно эти роллауты. Оценка выражена в токенном пространстве самого ученика, поэтому проблема совместимости словарей исчезает: модель сравнивает себя с собой, только с подсказкой и без неё.

Итоговое решение принимает верификатор. Токен-уровневое руководство от self-teacher используется, чтобы скорректировать обновления на неудачных роллаутах. Успешные попытки подтверждает внешний сигнал результата, а разбор ошибок получает точечную подсказку, где рассуждение свернуло не туда.

Внешний учитель запрашивается только ради текста, поэтому процедура обучения одинакова для всех сценариев. Не нужно переписывать пайплайн под конкретную пару моделей.

Что известно о постановке и результатах

• Три сценария учителя: общий токенизатор, разные токенизаторы, закрытый API.
• Вход от учителя: только текст рассуждения, генерация возможна офлайн.
• Роли: ученик генерирует роллауты без контекста, self-teacher (копия ученика с трейсом) оценивает их.
• Сигнал: токен-уровневое руководство плюс итоговый вердикт верификатора.
• Применение: корректировка обновлений на неудачных роллаутах.
• Результат по заявлению авторов: BSD улучшает базовую модель и превосходит базовые методы, заточенные под каждый из сценариев.
• Код опубликован на GitHub под аккаунтом TUMLegalTech.

Кому это пригодится уже сейчас

Главная практическая ценность в том, что метод снимает зависимость от внутренностей учителя. Команда, которая хочет подтянуть небольшую открытую модель в математике, коде или другой верифицируемой области, может взять трейсы у любой frontier-модели через обычный API. Логиты, совместимый токенизатор и особые договорённости с вендором для этого не нужны.

Второй плюс связан со стоимостью. Трейсы генерируются офлайн и один раз, поэтому дорогого учителя не нужно держать в цикле обучения. Он платит только за текст, а основной объём вычислений идёт на самой маленькой модели.

Ограничение тоже очевидно: схема опирается на верификатор. Там, где ответ можно проверить автоматически (задачи с однозначным результатом, тесты для кода), метод ложится естественно. Для открытых задач без проверяемого исхода придётся думать о заменителе верификатора.

Для индустрии это ещё один шаг к тому, чтобы знания закрытых моделей перетекали в компактные открытые. Провайдеры API не могут закрыть эту дверь одним скрытием логитов: достаточно того, что они отдают текст рассуждения. А тем, кто строит собственные small-модели, стоит заглянуть в репозиторий и проверить схему на своей доменной задаче.