SFT-as-context возвращает дообученным LLM общие навыки: разрыв всего 2,2 п.п.

Дообучение языковой модели почти всегда стоит ей части прежних умений. Авторы препринта на arXiv предлагают обойти эту цену без единого шага градиентного спуска. Метод SFT-as-context заставляет исходную, родительскую модель отвечать на запрос, держа в контексте ответ её дообученной SFT-версии. На 19 парах «родитель — SFT-модель» и 11 бенчмарках разрыв с SFT-моделью на специализированных задачах составил около двух процентных пунктов. По общим навыкам результат в среднем остался в пределах 2,2 п.п. от родителя.

Проблема: специализация за счёт забывания

Supervised fine-tuning превращает универсальную модель в специалиста по математике, коду или другой узкой области. Побочный эффект известен: часть общих способностей родителя теряется. Хуже всего приходится запросам, где нужны оба набора навыков сразу. Дообученная модель может уверенно решить профильную часть и провалить остальное. Родитель сделает наоборот.

Обычно эту проблему лечат подмешиванием общих данных в обучение, слиянием весов или более осторожными схемами тонкой настройки. Все эти способы требуют вычислений и аккуратной настройки. Здесь авторы идут другим путём.

Как работает SFT-as-context

Схема из двух шагов. Сначала запрос получает SFT-модель и выдаёт свой ответ. Затем родительская модель получает тот же запрос вместе с этим ответом в контексте и формулирует итог. Веса не трогают. Родитель усваивает специализированные приёмы через in-context learning и при этом сохраняет собственные общие способности.

Побочное следствие в том, что на каждый запрос приходится два прохода по моделям и более длинный контекст. В тексте аннотации задержка и стоимость не приводятся, поэтому оценивать их придётся самим.

Что показали тесты

Авторы сравнивали метод с обеими моделями пары: на специализированных задачах с SFT-версией, на общих с родителем. Ключевые цифры из аннотации:

• 19 пар «родитель — SFT-модель» и 11 бенчмарков.
• AIME 2024: отставание от SFT-модели 2,2 п.п.
• LiveCodeBench: отставание от SFT-модели 2,1 п.п.
• NutriBench-English: разница 2,0 по macro MAE.
• Общие навыки: в среднем в пределах 2,2 п.п. от родительской модели.

Самый интересный результат касается задач на стыке. Метод решал запросы, требующие и специализированных, и общих способностей, даже когда ни родитель, ни SFT-модель по отдельности не справлялись. Ответ специалиста работает как подсказка, а родитель достраивает недостающее своими знаниями.

Подход не ограничен «родственными» парами. Ответы небольшой открытой SFT-модели улучшали результат сильной закрытой LLM, и связка превосходила каждую модель в одиночку. Для команд, которые работают через API и не могут менять веса, это самый практичный вывод работы.

Теория и внимание

Авторы построили байесовскую модель и вывели границы ошибки. На специализированных задачах ошибка метода ограничена относительно SFT-модели, на общих относительно родителя. Это гарантии внутри теоретической рамки, а не обещание для любого реального сценария.

Проверили и механизм. По картам внимания родительская модель сильнее обращает внимание на полезные ответы SFT-модели и слабее на нерелевантные. Это похоже на избирательное использование подсказки. Гарантией защиты от ошибочной подсказки это не служит, и по аннотации нельзя сказать, как метод ведёт себя на заведомо неверных SFT-ответах.

Где это пригодится на практике

Если у вас есть дообученная модель с провалами в общих задачах, SFT-as-context можно проверить как дешёвый базовый вариант до дорогих экспериментов со слиянием весов. Достаточно скрипта из двух вызовов. Для продуктов на закрытых моделях открывается ещё один путь: небольшая доменная модель на своём железе выдаёт черновой ответ, а сильная модель из облака доводит его до результата.

Перед внедрением стоит измерить три вещи: прирост качества на ваших данных, удвоение задержки и расход токенов, а также долю случаев, где ошибочный ответ SFT-модели тянет итог вниз. Эти цифры в исходной работе в аннотации не раскрыты, поэтому решать придётся по собственным замерам.