Гигантскую MiniMax M3.1 Flash сжали до 144 ГБ: 91,5% токенов совпадают с оригиналом
Модель на 428 млрд параметров обычно требует кластер видеокарт, но Unsloth ужал MiniMax M3.1 Flash до 2 бит на вес, и файл формата GGUF весит около 144 ГБ. Модели хватает ~150 ГБ обычной оперативной памяти одной рабочей станции. На одном тексте сжатая версия выбирает тот же следующий токен (фрагмент слова), что и полная, в 91,5% случаев. Вывод: крупного агента реально гонять локально, но качество проверьте на своих задачах.
AI-обработка оригинала X: @EthanLinAI; редакция Hamidun News
Раньше, чтобы запустить модель на сотни миллиардов параметров, приходилось арендовать сервер с несколькими видеокартами. Теперь у MiniMax M3.1 Flash, открытой модели на 428 млрд параметров, появились 2-битные сборки от Unsloth: файл в формате GGUF весит около 144 ГБ и работает примерно в 150 ГБ оперативной памяти. Это объём памяти одной очень мощной рабочей станции, а не дата-центра. Об этом написал в X Ethan Lin. Он же привёл цифру 91,5%: именно столько раз сжатая модель выбирает тот же следующий токен (фрагмент слова), что и полная версия, если дать им один и тот же текст.
Проще всего представить это как архив. Исходная модель занимает сотни гигабайт, а Unsloth упаковал её так, чтобы она влезла в память обычного железа. Цена упаковки — небольшие расхождения в ответах. Разберём, что стоит за каждой цифрой.
Что именно сжали и почему хватит 150 ГБ
MiniMax M3.1 Flash построена по схеме Mixture of Experts, «смесь экспертов». Всего в ней 428 млрд параметров, но на каждый токен работают только около 23 млрд. Это как огромная библиотека: хранить приходится все полки, а для конкретного вопроса вы открываете лишь несколько нужных. Поэтому считать на токен нужно гораздо меньше, чем у «плотной» модели того же размера. Узкое место здесь память, а не вычисления.
Память и экономит квантизация. Веса обычно хранятся в 16 битах на число. Если ужать их в среднем до 2 бит, файл уменьшается в разы, но числа становятся грубее. Unsloth известен тем, что подбирает, какие слои сжимать сильнее, а какие оставить точнее. Результат упакован в GGUF, формат, который понимают популярные локальные рантаймы вроде llama.cpp.
Как читать цифру 91,5%
В посте она названа top-1 token agreement. На одном и том же тексте обе модели предсказывают следующий токен, и в 91,5% случаев их самый вероятный вариант совпадает. Для 2-битного сжатия это достойный результат, но у метрики есть пределы.
Во-первых, это не оценка на реальных задачах вроде программирования или вызова инструментов. Расхождение в 8,5% токенов в обычном тексте может ничего не менять. В длинной цепочке действий агента оно способно накопиться и привести к другому решению.
Во-вторых, цифра взята из твита, а не из отдельного отчёта. Методику мы не видим: неизвестно, на каких текстах сравнивали модели и какой длины был контекст. Скорости генерации в токенах в секунду в посте тоже нет, а для интерактивного агента она важна не меньше, чем размер файла.
Зачем это разработчикам и командам
Порог входа для крупных открытых моделей снижается. Если у вас есть машина со 192 ГБ памяти или больше, 428B-модель перестаёт быть чем-то теоретическим. Что это даёт:
- Приватность. Код, документы и внутренние данные остаются на вашей машине и не уходят в облачный API.
- Предсказуемые расходы. Вместо оплаты за каждый токен вы один раз покупаете железо, и это выгодно при постоянной нагрузке.
- Эксперименты. Можно сравнить локальную сжатую версию с облачной и увидеть, где именно падает качество.
Есть и ограничения. Файл 144 ГБ и рекомендуемые ~150 ГБ RAM оставляют мало места под операционную систему и длинный контекст, так что для больших контекстов памяти понадобится больше. Кроме того, у MoE-модели в оперативной памяти скорость сильно зависит от пропускной способности памяти. На обычной рабочей станции генерация будет медленнее, чем на связке GPU.
Совет простой: не переносите агента в продакшн по одной цифре из твита. Возьмите 20–50 реальных задач своей команды, прогоните их на локальной 2-битной версии и на облачной модели и сравните долю успешных результатов. Если разница приемлема, локальный запуск окупится приватностью и экономией. Если нет, попробуйте более «тяжёлые» 3- или 4-битные сборки, когда они появятся: они обычно ближе к оригиналу.
Автор поста спрашивает, что запускать первым. Разумный ответ: то, где важны приватность и большое число запросов, например внутренний ассистент по коду или разбор закрытых документов.
- 21 нояб. 2026 г.Агент Skein стирает старые этапы из контекста: 97% удачных запусков, но дороже OpenCode
- 21 нояб. 2026 г.Открытая Inkling 2 Mini на 16 ГБ памяти догнала Qwen3.8-27B в независимом рейтинге
- 21 нояб. 2026 г.Локальную phi3 взламывали в 51% попыток — разработчик поставил перед ней защитный шлюз
- 21 нояб. 2026 г.Thinking Machines выпустила открытую Inkling 2 Mini на 26,4 млрд параметров для Mac с 32 ГБ
Вопросы и ответы по материалу
Что известно по теме: что именно сжали и почему хватит 150 ГБ?
MiniMax M3.1 Flash построена по схеме Mixture of Experts, «смесь экспертов». Всего в ней 428 млрд параметров, но на каждый токен работают только около 23 млрд. Это как огромная библиотека: хранить приходится все полки, а для конкретного вопроса вы открываете лишь несколько нужных. Поэтому считать на токен нужно гораздо меньше, чем у «плотной» модели того же размера. Узкое место здесь память, а не вычисления. Память и экономит квантизация. Веса обычно хранятся в 16 битах на число.
Что известно по теме: как читать цифру 91,5%?
В посте она названа top-1 token agreement. На одном и том же тексте обе модели предсказывают следующий токен, и в 91,5% случаев их самый вероятный вариант совпадает. Для 2-битного сжатия это достойный результат, но у метрики есть пределы. Во-первых, это не оценка на реальных задачах вроде программирования или вызова инструментов. Расхождение в 8,5% токенов в обычном тексте может ничего не менять. В длинной цепочке действий агента оно способно накопиться и привести к другому решению.
Что известно по теме: зачем это разработчикам и командам?
Порог входа для крупных открытых моделей снижается. Если у вас есть машина со 192 ГБ памяти или больше, 428B-модель перестаёт быть чем-то теоретическим. Что это даёт: Приватность. Код, документы и внутренние данные остаются на вашей машине и не уходят в облачный API. Предсказуемые расходы. Вместо оплаты за каждый токен вы один раз покупаете железо, и это выгодно при постоянной нагрузке. Эксперименты. Можно сравнить локальную сжатую версию с облачной и увидеть, где именно падает качество. Есть и ограничения.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.