HyperRepair вернул дообученным LLM 93,4% общих навыков и удержал 99,5% доменного балла

Команда из Shanghai Jiao Tong University и University of Queensland описала HyperRepair — метод, который возвращает дообученной языковой модели общие навыки, потерянные при адаптации к узкой задаче. Для этого не нужны ни данные целевого домена, ни дополнительное обучение на стороне пользователя: к замороженной модели подключается небольшая боковая сеть, а её веса генерирует отдельная гиперсеть. На 12 LoRA-датасетах и 15 общих бенчмарках метод восстановил 93,4% среднего общего балла базовых моделей и при этом сохранил 99,5% среднего доменного балла дообученных версий.

Почему починка после дообучения упирается в компромисс

Дообучение улучшает модель в целевой области, но ослабляет её общие знания и рассуждения. Даже LoRA, где обучается лишь малая часть параметров, не защищает от катастрофического забывания. Известные способы борьбы делятся на два лагеря. Одни вмешиваются в сам процесс дообучения: регуляризация параметров, повтор старых данных, дистилляция, перестройка адаптеров и весов лосса. Они требуют контроля над обучением и не помогают, если чекпоинт уже готов. Другие работают постфактум: сливают модели или обрезают веса с учётом забывания. Но единый набор изменённых весов применяется ко всем запросам, и выигрыш в общих навыках обычно оплачивается потерей доменной специализации.

Авторы выбрали иной путь. Веса дообученной модели остаются нетронутыми, а поправка живёт в отдельном канале. Исходная модель сохраняется как запасной вариант, и по самому промпту можно решить, нужна ли поправка.

Боковая сеть с гейтом и гиперсеть, которая её генерирует

Repairing Side Net (RSN) — лёгкая трансформерная сеть, подключённая к промежуточным состояниям замороженной модели. Она выдаёт остаточную поправку к финальному скрытому состоянию перед языковой «головой». Решает, насколько применять поправку, гейт: он усредняет состояния по токенам промпта и пропускает их через небольшой MLP с сигмоидой. Гейт учат давать единицу на общих запросах и ноль на неразмеченных доменных. При нуле модель выдаёт прежние предсказания дообученной версии.

Самое интересное — как получить RSN для новой модели без обучения. Каждую дообученную модель описывают «отпечатком активаций»: на фиксированном наборе неразмеченных общих промптов измеряют, как скрытые состояния каждого слоя сместились относительно предобученной модели. Смещение раскладывают на направление и логарифм величины. Трансформер кодирует эти признаки послойно и формирует локальные и глобальные представления. По ним HyperNet генерирует параметры RSN вместе с гейтом: общий обучаемый шаблон плюс обусловленная отпечатком добавка. Матричные поправки собираются из низкоранговых факторов, что сокращает число генерируемых значений.

Сначала для каждой исходной модели обучают собственный RSN, и его параметры становятся целями для гиперсети. Её учат тремя сигналами: среднеквадратичная ошибка между сгенерированными и эталонными весами, выравнивание признаков, которые читает гейт, и функциональный лосс на предсказаниях модели с подключённым сгенерированным RSN. Функциональная часть нужна потому, что ошибки в весах влияют и на саму поправку, и на решение гейта. При развёртывании для модели из неизвестного домена считают отпечаток, один раз запускают гиперсеть и подключают готовый RSN.

Что показали тесты и где остаются вопросы

Авторы оценили метод на двух семействах моделей, 12 адаптационных доменах (классификация, вопросы-ответы, семантический парсинг, суммаризация кода) и 15 общих бенчмарках. В числе базовых чекпоинтов названа Qwen2.5-7B; текст описания обрывается, так что второе семейство и детали датасетов здесь не видны. Гиперсеть обучали на исходных моделях и проверяли на доменах, которых в обучении не было. На стандартном разбиении результат — 93,4% общего балла базовых моделей и 99,5% доменного балла дообученных.

Практический смысл понятен: если компания держит много LoRA-адаптеров на одной базе, ремонт каждого отдельным обучением растёт линейно с их числом, а здесь стоимость сводится к одному проходу гиперсети. Ограничения тоже очевидны. Метод привязан к общей предобученной базе, поправка добавляет вычисления в инференс, а 93,4% означает, что полного возврата нет. Работает ли подход на других размерах и архитектурах и как ведёт себя гейт на пограничных запросах, из доступного текста не ясно. Это проверит независимая репликация.