TraceForge учит модели на «своих мыслях»: +7,1 пункта на MBPP+

Команда TraceForge предложила способ дистилляции для случая, когда учитель отдаёт только ответ, а рассуждения прячет. Вместо того чтобы выманивать скрытую цепочку мыслей, система берёт контекст и финальный ответ учителя и сама пишет рассуждение в стиле семейства модели-ученика. На пяти бенчмарках при прочих равных условиях общие задачи почти не показали разницы, зато на кодинге выигрыш ощутимый: при тех же 5 000 вопросах и тех же ответах учителя HumanEval+ вырос на 3,7 пункта, а MBPP+ на 7,1.

Закрытые рассуждения и хрупкий обходной путь

Генерация обучающих данных одной LLM для другой остаётся одним из самых универсальных способов обучения моделей. Но часть frontier-команд закрыла этот канал для собственных систем: наружу уходит ответ или краткое резюме, без подробной трассы рассуждения. Авторы TraceForge отмечают иронию: сами эти модели выросли на дистилляции человеческого знания, а дистиллировать открытую модель по-прежнему обычное дело. Ограничение касается только их собственных выходов.

Недавние работы научились восстанавливать скрытые рассуждения, переигрывая зашифрованные блоки между моделями. Метод работает, но нарушает условия использования провайдеров. Строить на нём продукт на длинной дистанции нельзя, потому что любой пересмотр правил или технической защиты обнуляет весь пайплайн.

Генератор и критик: как собирают чужие мысли своими руками

TraceForge заходит с другой стороны. На вход подаются контекст и ответ учителя, а рассуждение пишет генератор, обученный воспроизводить трассы нужного семейства моделей.

Обучение двухстадийное. Сначала supervised: генератор учится восстанавливать настоящие трассы семейства по контексту и ответу. Затем adversarial: критик учится оценивать, насколько трасса выглядит настоящей, а генератор подстраивается под него. На выходе генератор, получив ответ учителя, пишет рассуждение так, как его написала бы модель из семейства студента.

Правдоподобие измеряли независимым судьёй, который оценивает вероятность того, что трасса подлинная, по шкале от 0 до 1. Авторы подчёркивают, что это оценки аутентичности, а не доля правильных решений.

• Сгенерированные трассы: в среднем 0,68
• Настоящие трассы: 0,66
• Трассы, выбранные критиком из четырёх кандидатов: 0,82
• Обучающая выборка: 5 000 вопросов с одними и теми же ответами учителя
• HumanEval+: +3,7 пункта на финальном чекпойнте
• MBPP+: +7,1 пункта на финальном чекпойнте, преимущество сохраняется на каждом чекпойнте

Стоит держать в голове, что судья оценивает похожесть на оригинал. Сгенерированные трассы получили 0,68 против 0,66 у настоящих, и это значит лишь, что судья не отличает их от реальных. Про корректность рассуждений эта цифра ничего не говорит. Зато отбор лучшей из четырёх кандидатов поднимает оценку до 0,82, и критик оказывается полезен не только на обучении, но и как фильтр на выходе.

Где выигрыш есть, а где его нет

Эксперимент построен так, чтобы менялась только одна переменная. Пять обучающих корпусов сравнивали на пяти бенчмарках. На общих задачах корпуса оказались примерно равны. На кодинге сгенерированное рассуждение превзошло собственное thinking-содержимое Fable 5 при тех же вопросах и тех же ответах учителя.

Почему так, авторы пока только предполагают: рассуждение, написанное в стиле семейства студента, ему легче усваивать. Если гипотеза верна, то важно не качество чужих мыслей, а их совместимость с тем, как студент сам строит цепочку. Для кода это правдоподобно: там структура рассуждений жёстче, а ошибки стиля заметнее на тестах.

Что менять в пайплайне дистилляции

Для команд, которые дообучают модели на ответах закрытых систем, вывод практический. Отсутствие трасс у учителя не тупик, и не нужно лезть в обход ограничений провайдера. Достаточно контекста и ответа, а рассуждение можно синтезировать локально и без нарушения правил.

Ограничения тоже понятны. Выигрыш на общих задачах не показан, он проявился на кодинге. Кроме того, оценка аутентичности остаётся прокси, и без проверки корректности трасс на своих задачах полагаться на неё нельзя. Разумный первый шаг: взять одну задачу по коду, сгенерировать по четыре кандидата на ответ, отобрать критиком лучшего и сравнить с базовой выборкой на MBPP+. Если разрыв около семи пунктов повторится, переход на такой пайплайн окупится.