Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизКод / SDK · В работуHabr AI→ оригинал

Concertina сложила Qwen3-4B как гармошку: на 43% меньше, а качество 84% от исходной

Слои Qwen3-4B не выкинули, а сложили попарно, как гармошку: два соседних слоя заменил один общий блок, который выполняется дважды. Параметров стало 2,27 млрд вместо 4,02 млрд (на 43% меньше), а качество — около 84% от исходной модели. Дообучения хватило на 22 млрд токенов, и по шести из восьми тестов модель обошла Qwen3-1.7B, которую учили на 36 трлн. Экономия пока только в памяти: скорость не измеряли.

AI-обработка оригинала Habr AI; редакция Hamidun News
Concertina сложила Qwen3-4B как гармошку: на 43% меньше, а качество 84% от исходной
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Вес в bf16 упал с 8,0 до 4,5 ГБ, KV-кэш остался как у Qwen3-4B
Лучше всего держатся рассужденияоколо 90% качества учителя на GSM8K
Ключевой факт #3Веса открыты на Hugging Face под лицензией Apache 2.0

Маленькую языковую модель обычно получают двумя способами: либо учат с нуля на гигантском корпусе, либо вырезают из большой модели часть слоёв и надеются, что она не поглупеет. Первое стоит огромных денег, второе бьёт по качеству. Исследователи предложили третий путь под названием Concertina: слои Qwen3-4B не выбрасывают, а складывают попарно, как меха концертины. В результате модель уменьшилась с 4,02 до 2,27 млрд параметров (на 43%), сохранила около 84% качества исходной Qwen3-4B (это среднее по восьми тестам: балл «сжатой» модели делится на балл учителя) и для этого прошла дистилляцию всего на 22 млрд токенов. Если у вас модель не помещается в память ноутбука, телефона или недорогой видеокарты, результат стоит разобрать подробнее.

Как сложить модель, как гармошку

Авторы статьи «Folding Language Models into Themselves» взяли Qwen3-4B. Каждую пару соседних слоёв они заменили одним общим блоком, который выполняется два раза подряд. Общие матрицы берутся из первого слоя пары, а глубина сети остаётся прежней: 36 слоёв, то есть 18 уникальных блоков по два прохода.

Представьте, что два соседних сотрудника делают почти одну и ту же работу. Вместо двух ставок вы нанимаете одного и просите выполнить задачу дважды, но во второй раз с небольшой поправкой. Эту поправку авторы считают из разницы между исходными слоями: берут её сжатое приближение ранга 64 (усечённое SVD), а специальный гейт для каждого токена решает, насколько её применять. Нормализации RMSNorm у каждого прохода остаются свои.

После сборки получившуюся модель-«студента» дистиллируют из той же Qwen3-4B, то есть учат повторять ответы исходной модели. На это ушло 22 млрд токенов.

Что показали тесты

Сравнивали учителя Qwen3-4B, модель Qwen3-1.7B (её учили на 36 трлн токенов, это примерно в 1 600 раз больше данных) и Concertina-2,27B.

Concertina обходит Qwen3-1.7B по шести из восьми показателей: среднему баллу по семи базовым тестам base-7 (58,0% против 56,2%), MMLU-Pro (30,1% против 29,7%), GPQA с вопросами аспирантского уровня (30,8% против 29,3%), BBH на сложную логику (40,0% против 36,3%), школьной математике GSM8K (78,8% против 71,0%) и MATH (49,8% против 46,0%). На MMLU (55,6% против 55,7%) и MMLU-Redux (58,7% против 59,1%) она уступает с минимальным отрывом. Учителя Qwen3-4B она не догоняет ни в одном тесте: например, у него base-7 равен 63,0%, GSM8K — 87,9%.

Средняя доля качества учителя, по расчёту из таблицы, составляет 84%, как и заявляют авторы. Задачи на рассуждения держатся лучше всего: около 90% у base-7 и GSM8K. Знания и сложные вопросы теряют больше: MMLU-Pro и BBH находятся на уровне 75–80% от учителя.

Что экономится, а что нет

Вес модели в bf16 уменьшается с 8,0 до 4,5 ГБ. Для устройств, где всё упирается в память под веса, выигрыш виден сразу: модель, которая раньше не помещалась, теперь влезает.

Но с остальным сложнее. Эффективная глубина осталась 36 слоёв, поэтому KV-кэш такой же, как у Qwen3-4B. Вычислений на токен, вероятно, тоже примерно столько же, ведь каждый общий блок исполняется дважды. Замеров скорости и пропускной способности в карточке модели нет, так что для серверного инференса, где решают скорость и кэш, пользу пока подтвердить нечем.

Есть оговорки и по самому релизу. В репозитории два коммита и единственный чекпоинт: других размеров группы слоёв и других рангов поправки нет. Метод показан на одной модели, а как он перенесётся на другие семейства, пока неизвестно. Код короткий: функции fold_model и distill_loss и самотест на CPU. Веса лежат на Hugging Face под лицензией Apache 2.0, как и у исходной Qwen3-4B.

Что с этим делать

Если вы разворачиваете модели на edge-устройствах или экономите видеопамять, чекпоинт стоит скачать и прогнать на своих задачах, особенно там, где нужны рассуждения и математика, а не энциклопедические знания. Главное, что нужно измерить самому, — реальные tokens/sec на вашем GPU в сравнении с обычной Qwen3-4B. Если скорость не вырастет, Concertina останется способом сделать модель компактнее по памяти, но не быстрее. Сама идея всё равно показательна: 22 млрд токенов дистилляции против 36 трлн токенов полноценного обучения говорят о том, что сжимать уже обученную модель может быть заметно дешевле, чем растить маленькую с нуля.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как сложить модель, как гармошку?

Авторы статьи «Folding Language Models into Themselves» взяли Qwen3-4B. Каждую пару соседних слоёв они заменили одним общим блоком, который выполняется два раза подряд. Общие матрицы берутся из первого слоя пары, а глубина сети остаётся прежней: 36 слоёв, то есть 18 уникальных блоков по два прохода. Представьте, что два соседних сотрудника делают почти одну и ту же работу. Вместо двух ставок вы нанимаете одного и просите выполнить задачу дважды, но во второй раз с небольшой поправкой.

Что известно по теме: что показали тесты?

Сравнивали учителя Qwen3-4B, модель Qwen3-1.7B (её учили на 36 трлн токенов, это примерно в 1 600 раз больше данных) и Concertina-2,27B. Concertina обходит Qwen3-1.7B по шести из восьми показателей: среднему баллу по семи базовым тестам base-7 (58,0% против 56,2%), MMLU-Pro (30,1% против 29,7%), GPQA с вопросами аспирантского уровня (30,8% против 29,3%), BBH на сложную логику (40,0% против 36,3%), школьной математике GSM8K (78,8% против 71,0%) и MATH (49,8% против 46,0%).

Что известно по теме: что экономится, а что нет?

Вес модели в bf16 уменьшается с 8,0 до 4,5 ГБ. Для устройств, где всё упирается в память под веса, выигрыш виден сразу: модель, которая раньше не помещалась, теперь влезает. Но с остальным сложнее. Эффективная глубина осталась 36 слоёв, поэтому KV-кэш такой же, как у Qwen3-4B. Вычислений на токен, вероятно, тоже примерно столько же, ведь каждый общий блок исполняется дважды.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…