Concertina сложила Qwen3-4B как гармошку: на 43% меньше, а качество 84% от исходной
Слои Qwen3-4B не выкинули, а сложили попарно, как гармошку: два соседних слоя заменил один общий блок, который выполняется дважды. Параметров стало 2,27 млрд вместо 4,02 млрд (на 43% меньше), а качество — около 84% от исходной модели. Дообучения хватило на 22 млрд токенов, и по шести из восьми тестов модель обошла Qwen3-1.7B, которую учили на 36 трлн. Экономия пока только в памяти: скорость не измеряли.
AI-обработка оригинала Habr AI; редакция Hamidun News
Маленькую языковую модель обычно получают двумя способами: либо учат с нуля на гигантском корпусе, либо вырезают из большой модели часть слоёв и надеются, что она не поглупеет. Первое стоит огромных денег, второе бьёт по качеству. Исследователи предложили третий путь под названием Concertina: слои Qwen3-4B не выбрасывают, а складывают попарно, как меха концертины. В результате модель уменьшилась с 4,02 до 2,27 млрд параметров (на 43%), сохранила около 84% качества исходной Qwen3-4B (это среднее по восьми тестам: балл «сжатой» модели делится на балл учителя) и для этого прошла дистилляцию всего на 22 млрд токенов. Если у вас модель не помещается в память ноутбука, телефона или недорогой видеокарты, результат стоит разобрать подробнее.
Как сложить модель, как гармошку
Авторы статьи «Folding Language Models into Themselves» взяли Qwen3-4B. Каждую пару соседних слоёв они заменили одним общим блоком, который выполняется два раза подряд. Общие матрицы берутся из первого слоя пары, а глубина сети остаётся прежней: 36 слоёв, то есть 18 уникальных блоков по два прохода.
Представьте, что два соседних сотрудника делают почти одну и ту же работу. Вместо двух ставок вы нанимаете одного и просите выполнить задачу дважды, но во второй раз с небольшой поправкой. Эту поправку авторы считают из разницы между исходными слоями: берут её сжатое приближение ранга 64 (усечённое SVD), а специальный гейт для каждого токена решает, насколько её применять. Нормализации RMSNorm у каждого прохода остаются свои.
После сборки получившуюся модель-«студента» дистиллируют из той же Qwen3-4B, то есть учат повторять ответы исходной модели. На это ушло 22 млрд токенов.
Что показали тесты
Сравнивали учителя Qwen3-4B, модель Qwen3-1.7B (её учили на 36 трлн токенов, это примерно в 1 600 раз больше данных) и Concertina-2,27B.
Concertina обходит Qwen3-1.7B по шести из восьми показателей: среднему баллу по семи базовым тестам base-7 (58,0% против 56,2%), MMLU-Pro (30,1% против 29,7%), GPQA с вопросами аспирантского уровня (30,8% против 29,3%), BBH на сложную логику (40,0% против 36,3%), школьной математике GSM8K (78,8% против 71,0%) и MATH (49,8% против 46,0%). На MMLU (55,6% против 55,7%) и MMLU-Redux (58,7% против 59,1%) она уступает с минимальным отрывом. Учителя Qwen3-4B она не догоняет ни в одном тесте: например, у него base-7 равен 63,0%, GSM8K — 87,9%.
Средняя доля качества учителя, по расчёту из таблицы, составляет 84%, как и заявляют авторы. Задачи на рассуждения держатся лучше всего: около 90% у base-7 и GSM8K. Знания и сложные вопросы теряют больше: MMLU-Pro и BBH находятся на уровне 75–80% от учителя.
Что экономится, а что нет
Вес модели в bf16 уменьшается с 8,0 до 4,5 ГБ. Для устройств, где всё упирается в память под веса, выигрыш виден сразу: модель, которая раньше не помещалась, теперь влезает.
Но с остальным сложнее. Эффективная глубина осталась 36 слоёв, поэтому KV-кэш такой же, как у Qwen3-4B. Вычислений на токен, вероятно, тоже примерно столько же, ведь каждый общий блок исполняется дважды. Замеров скорости и пропускной способности в карточке модели нет, так что для серверного инференса, где решают скорость и кэш, пользу пока подтвердить нечем.
Есть оговорки и по самому релизу. В репозитории два коммита и единственный чекпоинт: других размеров группы слоёв и других рангов поправки нет. Метод показан на одной модели, а как он перенесётся на другие семейства, пока неизвестно. Код короткий: функции fold_model и distill_loss и самотест на CPU. Веса лежат на Hugging Face под лицензией Apache 2.0, как и у исходной Qwen3-4B.
Что с этим делать
Если вы разворачиваете модели на edge-устройствах или экономите видеопамять, чекпоинт стоит скачать и прогнать на своих задачах, особенно там, где нужны рассуждения и математика, а не энциклопедические знания. Главное, что нужно измерить самому, — реальные tokens/sec на вашем GPU в сравнении с обычной Qwen3-4B. Если скорость не вырастет, Concertina останется способом сделать модель компактнее по памяти, но не быстрее. Сама идея всё равно показательна: 22 млрд токенов дистилляции против 36 трлн токенов полноценного обучения говорят о том, что сжимать уже обученную модель может быть заметно дешевле, чем растить маленькую с нуля.
- 18 нояб. 2026 г.BRIA выпустила RMBG-3.0: вырезает фон за 6 секунд и бьёт BiRefNet в 75,9% дуэлей
- 18 нояб. 2026 г.Обнулив менее 0,05% весов, большую LLM научили новому не хуже файнтюнинга
- 18 нояб. 2026 г.Позицию токена в NoPE-трансформере восстановили на 99%, в RWKV-7 — на 29–42%
- 18 нояб. 2026 г.Liquid AI выложила LiquidCodec: декодирует речь в 2,9 раза быстрее Mimi
Вопросы и ответы по материалу
Что известно по теме: как сложить модель, как гармошку?
Авторы статьи «Folding Language Models into Themselves» взяли Qwen3-4B. Каждую пару соседних слоёв они заменили одним общим блоком, который выполняется два раза подряд. Общие матрицы берутся из первого слоя пары, а глубина сети остаётся прежней: 36 слоёв, то есть 18 уникальных блоков по два прохода. Представьте, что два соседних сотрудника делают почти одну и ту же работу. Вместо двух ставок вы нанимаете одного и просите выполнить задачу дважды, но во второй раз с небольшой поправкой.
Что известно по теме: что показали тесты?
Сравнивали учителя Qwen3-4B, модель Qwen3-1.7B (её учили на 36 трлн токенов, это примерно в 1 600 раз больше данных) и Concertina-2,27B. Concertina обходит Qwen3-1.7B по шести из восьми показателей: среднему баллу по семи базовым тестам base-7 (58,0% против 56,2%), MMLU-Pro (30,1% против 29,7%), GPQA с вопросами аспирантского уровня (30,8% против 29,3%), BBH на сложную логику (40,0% против 36,3%), школьной математике GSM8K (78,8% против 71,0%) и MATH (49,8% против 46,0%).
Что известно по теме: что экономится, а что нет?
Вес модели в bf16 уменьшается с 8,0 до 4,5 ГБ. Для устройств, где всё упирается в память под веса, выигрыш виден сразу: модель, которая раньше не помещалась, теперь влезает. Но с остальным сложнее. Эффективная глубина осталась 36 слоёв, поэтому KV-кэш такой же, как у Qwen3-4B. Вычислений на токен, вероятно, тоже примерно столько же, ведь каждый общий блок исполняется дважды.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.