Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизНаучная статья · В песочницуX: @EthanLinAI→ оригинал

Гигантскую MiniMax M3.1 Flash сжали до 144 ГБ: 91,5% токенов совпадают с оригиналом

Модель на 428 млрд параметров обычно требует кластер видеокарт, но Unsloth ужал MiniMax M3.1 Flash до 2 бит на вес, и файл формата GGUF весит около 144 ГБ. Модели хватает ~150 ГБ обычной оперативной памяти одной рабочей станции. На одном тексте сжатая версия выбирает тот же следующий токен (фрагмент слова), что и полная, в 91,5% случаев. Вывод: крупного агента реально гонять локально, но качество проверьте на своих задачах.

AI-обработка оригинала X: @EthanLinAI; редакция Hamidun News
Гигантскую MiniMax M3.1 Flash сжали до 144 ГБ: 91,5% токенов совпадают с оригиналом
Источник: X: @EthanLinAI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @EthanLinAI ↗
Главный редактор
Ключевой факт #1В MoE-модели активны лишь 23 млрд из 428 млрд параметров на токен
Запас небольшойфайл 144 ГБ при рекомендуемых ~150 ГБ RAM
Ключевой факт #391,5% — совпадение токенов, а не результат на бенчмарках

Раньше, чтобы запустить модель на сотни миллиардов параметров, приходилось арендовать сервер с несколькими видеокартами. Теперь у MiniMax M3.1 Flash, открытой модели на 428 млрд параметров, появились 2-битные сборки от Unsloth: файл в формате GGUF весит около 144 ГБ и работает примерно в 150 ГБ оперативной памяти. Это объём памяти одной очень мощной рабочей станции, а не дата-центра. Об этом написал в X Ethan Lin. Он же привёл цифру 91,5%: именно столько раз сжатая модель выбирает тот же следующий токен (фрагмент слова), что и полная версия, если дать им один и тот же текст.

Проще всего представить это как архив. Исходная модель занимает сотни гигабайт, а Unsloth упаковал её так, чтобы она влезла в память обычного железа. Цена упаковки — небольшие расхождения в ответах. Разберём, что стоит за каждой цифрой.

Что именно сжали и почему хватит 150 ГБ

MiniMax M3.1 Flash построена по схеме Mixture of Experts, «смесь экспертов». Всего в ней 428 млрд параметров, но на каждый токен работают только около 23 млрд. Это как огромная библиотека: хранить приходится все полки, а для конкретного вопроса вы открываете лишь несколько нужных. Поэтому считать на токен нужно гораздо меньше, чем у «плотной» модели того же размера. Узкое место здесь память, а не вычисления.

Память и экономит квантизация. Веса обычно хранятся в 16 битах на число. Если ужать их в среднем до 2 бит, файл уменьшается в разы, но числа становятся грубее. Unsloth известен тем, что подбирает, какие слои сжимать сильнее, а какие оставить точнее. Результат упакован в GGUF, формат, который понимают популярные локальные рантаймы вроде llama.cpp.

Как читать цифру 91,5%

В посте она названа top-1 token agreement. На одном и том же тексте обе модели предсказывают следующий токен, и в 91,5% случаев их самый вероятный вариант совпадает. Для 2-битного сжатия это достойный результат, но у метрики есть пределы.

Во-первых, это не оценка на реальных задачах вроде программирования или вызова инструментов. Расхождение в 8,5% токенов в обычном тексте может ничего не менять. В длинной цепочке действий агента оно способно накопиться и привести к другому решению.

Во-вторых, цифра взята из твита, а не из отдельного отчёта. Методику мы не видим: неизвестно, на каких текстах сравнивали модели и какой длины был контекст. Скорости генерации в токенах в секунду в посте тоже нет, а для интерактивного агента она важна не меньше, чем размер файла.

Зачем это разработчикам и командам

Порог входа для крупных открытых моделей снижается. Если у вас есть машина со 192 ГБ памяти или больше, 428B-модель перестаёт быть чем-то теоретическим. Что это даёт:

  • Приватность. Код, документы и внутренние данные остаются на вашей машине и не уходят в облачный API.
  • Предсказуемые расходы. Вместо оплаты за каждый токен вы один раз покупаете железо, и это выгодно при постоянной нагрузке.
  • Эксперименты. Можно сравнить локальную сжатую версию с облачной и увидеть, где именно падает качество.

Есть и ограничения. Файл 144 ГБ и рекомендуемые ~150 ГБ RAM оставляют мало места под операционную систему и длинный контекст, так что для больших контекстов памяти понадобится больше. Кроме того, у MoE-модели в оперативной памяти скорость сильно зависит от пропускной способности памяти. На обычной рабочей станции генерация будет медленнее, чем на связке GPU.

Совет простой: не переносите агента в продакшн по одной цифре из твита. Возьмите 20–50 реальных задач своей команды, прогоните их на локальной 2-битной версии и на облачной модели и сравните долю успешных результатов. Если разница приемлема, локальный запуск окупится приватностью и экономией. Если нет, попробуйте более «тяжёлые» 3- или 4-битные сборки, когда они появятся: они обычно ближе к оригиналу.

Автор поста спрашивает, что запускать первым. Разумный ответ: то, где важны приватность и большое число запросов, например внутренний ассистент по коду или разбор закрытых документов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно сжали и почему хватит 150 ГБ?

MiniMax M3.1 Flash построена по схеме Mixture of Experts, «смесь экспертов». Всего в ней 428 млрд параметров, но на каждый токен работают только около 23 млрд. Это как огромная библиотека: хранить приходится все полки, а для конкретного вопроса вы открываете лишь несколько нужных. Поэтому считать на токен нужно гораздо меньше, чем у «плотной» модели того же размера. Узкое место здесь память, а не вычисления. Память и экономит квантизация. Веса обычно хранятся в 16 битах на число.

Что известно по теме: как читать цифру 91,5%?

В посте она названа top-1 token agreement. На одном и том же тексте обе модели предсказывают следующий токен, и в 91,5% случаев их самый вероятный вариант совпадает. Для 2-битного сжатия это достойный результат, но у метрики есть пределы. Во-первых, это не оценка на реальных задачах вроде программирования или вызова инструментов. Расхождение в 8,5% токенов в обычном тексте может ничего не менять. В длинной цепочке действий агента оно способно накопиться и привести к другому решению.

Что известно по теме: зачем это разработчикам и командам?

Порог входа для крупных открытых моделей снижается. Если у вас есть машина со 192 ГБ памяти или больше, 428B-модель перестаёт быть чем-то теоретическим. Что это даёт: Приватность. Код, документы и внутренние данные остаются на вашей машине и не уходят в облачный API. Предсказуемые расходы. Вместо оплаты за каждый токен вы один раз покупаете железо, и это выгодно при постоянной нагрузке. Эксперименты. Можно сравнить локальную сжатую версию с облачной и увидеть, где именно падает качество. Есть и ограничения.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…