Qwen сам выбирает, что помнить: replay от замороженной модели снижает забывание

Дообучение языковой модели почти всегда ломает что-то из того, что она умела раньше. Новая работа на arXiv (cs.CL, 2610.12602) проверяет необычную идею: пусть защитой старых навыков занимается сама модель. Авторы дообучали Qwen разных размеров на последовательности инструкций и выяснили, что замороженная копия способна генерировать replay-данные, снижающие забывание, в том числе на задачах, которых нет в списке для сохранения. На размере 4B модель ещё и выбирала, какие задачи воспроизводить, лучше случайного жребия. У меньших моделей этого преимущества не обнаружилось.

Проблема: список для сохранения всегда неполон

Классическая постановка continual learning требует задать набор задач, качество на которых нельзя терять. Но знания модели шире любого такого набора, а забывание не ограничивается проверяемыми пунктами. То, что вы не включили в тест, деградирует незаметно.

Недавние работы показали, что модель может сама создавать полезный replay без доступа к оригинальным обучающим данным. Авторы развивают эту линию и спрашивают: может ли модель помочь выбрать цели сохранения так, чтобы защитить себя шире, чем это сделал бы человек с ограниченным списком?

Как устроен эксперимент

Для исследования описания задач и их примеры организованы в Task Banks. Записи из банка можно выбирать и комбинировать, а по ним замороженная модель генерирует replay-данные для дообучения. Затем проводится continual instruction tuning на моделях семейства Qwen разных размеров.

Важная деталь метрики. Помимо средней точности, авторы отслеживают, какие из ранее правильных ответов остаются правильными. Средний показатель может выглядеть стабильным, пока модель теряет одни верные ответы и случайно приобретает другие.

• Модели: Qwen разных размеров, ключевой результат по выбору задач получен на 4B.
• Метод: replay, сгенерированный замороженной моделью по записям Task Banks.
• Основная метрика: удержание ранее правильных ответов (retention), в том числе на задачах вне банка.
• Сравнение выбора: отбор с учётом новой задачи против случайного отбора.
• Ограничение: фиксированный бюджет примеров на обучение.

Три результата

Первое: на то, какие навыки деградируют, влияют новая задача и learning rate. Отслеживание ранее верных ответов вскрывает потери, которые скрывает средняя точность.

Второе: сгенерированный replay снижает забывание на задачах вне банка. Комбинирование частичных банков усиливает эффект: среднее удержание ранее верных ответов оказывается выше, чем у любого из банков по отдельности, на всех проверенных размерах.

Третье: модель может участвовать в выборе целей replay. На 4B отбор, учитывающий новую задачу, повышает среднее удержание на отложенных задачах по сравнению со случайным отбором, а выигрыш на самой новой задаче остаётся сопоставимым. Меньшие модели такого преимущества не показали.

Цена защиты

Бесплатной страховки здесь нет. При фиксированном бюджете примеров замена части данных новой задачи на replay улучшает сохранение, но уменьшает прирост на новой задаче. Размер этого компромисса в аннотации не раскрыт, поэтому оценивать его придётся по полному тексту и на своих данных.

Есть и вопрос масштаба. Раз способность выбирать цели replay проявилась только на 4B, нельзя считать её универсальной для любых моделей. Результаты получены на одном семействе, и перенос на другие архитектуры нужно проверять отдельно.

Практические выводы для команд, которые дообучают модели

Если вы адаптируете открытую модель под свою задачу и не хранили исходные данные, генерация replay замороженной копией становится рабочим вариантом защиты. Начинайте с нескольких небольших банков задач и объединяйте их, а не полагайтесь на один. Оценивайте не только среднюю точность, но и долю сохранённых правильных ответов, включая задачи вне вашего тестового набора. Закладывайте бюджет: каждый replay-пример отнимает место у данных новой задачи, и баланс стоит подбирать экспериментально. Автоматический выбор задач для replay имеет смысл тестировать на моделях от 4B, а на меньших размерах пока разумнее оставаться на проверенных схемах.