Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизОткрытые веса · В работуTG: @gonzo_ML (gonzo-обзоры ML статей)→ оригинал

Обнулив менее 0,05% весов, большую LLM научили новому не хуже файнтюнинга

Обычно новый навык добавляют, переписывая веса, а Deletion Tuning лишь обнуляет часть имеющихся: у самых крупных моделей хватило менее 0,05% параметров, то есть меньше 5 из 10 000. Обучается только маска «оставить или обнулить» для MLP-слоёв. Качество сравнялось с полным файнтюнингом, а на старых задачах точность упала не более чем на 1 пункт. Поэтому одну модель можно переключать между навыками мегабайтными масками.

AI-обработка оригинала TG: @gonzo_ML (gonzo-обзоры ML статей); редакция Hamidun News
Обнулив менее 0,05% весов, большую LLM научили новому не хуже файнтюнинга
Источник: TG: @gonzo_ML (gonzo-обзоры ML статей). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @gonzo_ML (gonzo-обзоры ML статей) ↗
Главный редактор
Ключевой факт #1Малые модели порой набирают лишь 90% точности плотного обновления
Ключевой факт #2Несжатые bf16-адаптеры ранга 1 часто меньше масок по объёму
Ключевой факт #3Последовательное дообучение не проверяли, а памяти нужно куда больше

Допустим, у вас в продакшене одна большая языковая модель, а клиентам нужны разные навыки: одному — агент, который вызывает инструменты, другому — пошаговые рассуждения. Обычно для этого переписывают веса модели целиком (полный файнтюнинг) или навешивают сверху небольшой адаптер вроде LoRA. Исследователи Джек Лу, Мэнъе Жэнь (Mengye Ren) и их коллеги предложили третий путь, Deletion Tuning: ничего не дописывать, а обнулить крошечную часть уже существующих весов. На самых крупных протестированных моделях хватило занулить менее 0,05% параметров, то есть меньше пяти весов из десяти тысяч, и качество сравнялось с полным файнтюнингом. Для тех, кто обслуживает много вариантов одной модели, это интересная инженерная идея, хотя до готового инструмента ей ещё далеко.

Как научить модель, только удаляя

Представьте большую книгу рецептов. Вместо того чтобы дописывать страницы, вы вымарываете несколько строк, и повар начинает готовить иначе. Примерно так работает метод. Исходная модель остаётся замороженной. Обучается только двоичная маска для гейтовых проекций MLP-блоков. Это часть слоя, которая решает, какие сигналы пропускать дальше. Для каждого веса маска говорит «оставить» или «обнулить». Оставленные веса не меняются вообще.

Так предобученные модели осваивают новые навыки рассуждения и работы с инструментами без записи новых весов. Прежние способности при этом не страдают.

Что показали замеры

На больших масштабах Deletion Tuning сравнялся с полным файнтюнингом, то есть с самым дорогим способом адаптации, при котором обновляются все веса. Отдельно проверили, не забывает ли модель старое. После обучения с подкреплением точность на прежних задачах упала не более чем на 1 пункт относительно базовой модели. Один пункт означает, например, падение с 80% до 79%.

С малыми моделями результат хуже: они порой набирают лишь около 90% точности плотного обновления, то есть обычного файнтюнинга всех весов. Судя по этому, метод лучше работает на больших сетях. Возможно, в них проще найти веса, которые можно выключить без потерь, но это наше предположение, а не вывод авторов.

Зачем это на практике

Главная выгода лежит в инференсе, то есть в обслуживании готовой модели. Если навык хранится как битовая маска размером в мегабайты, одну общую модель в памяти GPU можно переключать между задачами. Для одного клиента включается маска «агент с инструментами», для другого — «рассуждения». Старые навыки остаются на месте. Авторы выложили код и обученные маски на Hugging Face, так что идею можно проверить самостоятельно.

Оговорки

Во-первых, выигрыш в размере не гарантирован. Несжатые адаптеры ранга 1 в формате bf16 часто занимают меньше места, чем маска. Поэтому как способ хранить много вариантов модели компактнее LoRA метод пока не выглядит очевидным победителем.

Во-вторых, само обучение маски требует куда больше памяти, чем обучение небольшого адаптера. Для команд с ограниченным парком GPU это серьёзный минус.

В-третьих, последовательное дообучение в работе не проверяли. Это ситуация, когда модель получает один навык, потом второй, потом третий. А именно так обычно и живут продуктовые команды. Неизвестно, смогут ли маски накладываться друг на друга без конфликтов.

Вывод

Deletion Tuning пока остаётся исследовательской работой, а не инструментом, который стоит тащить в продакшен завтра. Но она показывает: в большой предобученной модели уже заложено больше возможностей, чем принято думать, и иногда их можно раскрыть, обнулив сотые доли процента весов. Если вы строите мультизадачный сервинг на одной общей модели, посмотрите статью и код. Если вопросы с памятью при обучении и с последовательным дообучением удастся решить, мегабайтные маски могут стать удобной альтернативой адаптерам.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как научить модель, только удаляя?

Представьте большую книгу рецептов. Вместо того чтобы дописывать страницы, вы вымарываете несколько строк, и повар начинает готовить иначе. Примерно так работает метод. Исходная модель остаётся замороженной. Обучается только двоичная маска для гейтовых проекций MLP-блоков. Это часть слоя, которая решает, какие сигналы пропускать дальше. Для каждого веса маска говорит «оставить» или «обнулить». Оставленные веса не меняются вообще.

Что известно по теме: что показали замеры?

На больших масштабах Deletion Tuning сравнялся с полным файнтюнингом, то есть с самым дорогим способом адаптации, при котором обновляются все веса. Отдельно проверили, не забывает ли модель старое. После обучения с подкреплением точность на прежних задачах упала не более чем на 1 пункт относительно базовой модели. Один пункт означает, например, падение с 80% до 79%. С малыми моделями результат хуже: они порой набирают лишь около 90% точности плотного обновления, то есть обычного файнтюнинга всех весов.

Что известно по теме: зачем это на практике?

Главная выгода лежит в инференсе, то есть в обслуживании готовой модели. Если навык хранится как битовая маска размером в мегабайты, одну общую модель в памяти GPU можно переключать между задачами. Для одного клиента включается маска «агент с инструментами», для другого — «рассуждения». Старые навыки остаются на месте. Авторы выложили код и обученные маски на Hugging Face, так что идею можно проверить самостоятельно.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…