Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизОткрытые веса · В работуTG: @cgevent (Метаверсище и ИИще)→ оригинал

NVIDIA ужала Kimi K3.1 Pro до 4 бит: веса 2,8 трлн параметров — около 1,4 ТБ

NVIDIA выложила на Hugging Face Kimi K3.1 Pro от Moonshot AI в формате NVFP4 — это 4-битная запись весов вместо привычных 16 бит. Модель огромная: 2,8 трлн параметров, из них на каждый токен работают 104 млрд. Это как вакуумная упаковка: содержимое почти то же, а веса занимают около 1,4 ТБ вместо 5,6 ТБ. Для самостоятельного хостинга это сильно снижает порог по памяти, но качество стоит проверить на своих задачах.

AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
NVIDIA ужала Kimi K3.1 Pro до 4 бит: веса 2,8 трлн параметров — около 1,4 ТБ
Источник: TG: @cgevent (Метаверсище и ИИще). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @cgevent (Метаверсище и ИИще) ↗
Главный редактор
Ключевой факт #12,8 трлн параметров всего, 104 млрд активных на токен (MoE)
Ключевой факт #2Принимает текст и картинки, контекст — 1 048 576 токенов
Ключевой факт #3Квантование сделано в NVIDIA Model Optimizer, замеров качества нет

Огромные открытые модели часто упираются в банальную вещь: их просто негде запустить. Веса на несколько терабайт не помещаются в обычный сервер, а кластер GPU под них могут позволить себе немногие. Поэтому публикация NVIDIA на Hugging Face заслуживает внимания: компания выложила Kimi K3.1 Pro от Moonshot AI в формате NVFP4 — 4-битной «упаковке» весов вместо стандартных 16 бит. По грубой прикидке, веса модели на 2,8 трлн параметров при этом занимают около 1,4 ТБ вместо 5,6 ТБ.

Что именно опубликовано

Согласно карточке модели, Kimi K3.1 Pro — мультимодальная модель с архитектурой Mixture of Experts (MoE, «смесь экспертов»). В ней 2,8 трлн параметров в сумме, но на обработку каждого токена задействуются только 104 млрд. Представьте огромную библиотеку, где на каждый вопрос открывают лишь несколько нужных полок, а не перелистывают все книги подряд. Модель принимает текст и изображения, а заявленный предел контекста — 1 048 576 токенов, то есть около миллиона.

Сборку подготовила сама NVIDIA с помощью инструмента NVIDIA Model Optimizer. По описанию, задача формата — уменьшить объём весов, чтобы модель было проще развернуть на собственном железе.

Что даёт NVFP4 на пальцах

Квантование — это хранение каждого числа в меньшем количестве бит. Обычно один параметр занимает 16 бит. NVFP4 — 4-битный формат с плавающей точкой от NVIDIA: значения группируются в небольшие блоки, и у каждого блока есть свой масштабный коэффициент. Это помогает сохранить больше точности при такой плотной упаковке.

Посчитаем грубо:

  • 16 бит: 2,8 трлн параметров — около 5,6 ТБ только под веса.
  • 8 бит: около 2,8 ТБ.
  • 4 бита: порядка 1,4 ТБ.

Это оценка без учёта масштабных коэффициентов и служебных данных, реальный размер файлов будет чуть больше. Но разница почти в четыре раза против 16 бит напрямую отвечает на вопрос, сколько GPU нужно покупать или арендовать. Важная оговорка: активных параметров у MoE меньше, но в памяти всё равно должны лежать все эксперты, иначе их пришлось бы подгружать с диска на лету. Экономия идёт от размера всех весов, а не от 104 млрд активных.

Что стоит проверить перед запуском

В исходном посте нет ни замеров качества, ни скорости, поэтому судить, насколько модель потеряла в точности после сжатия, рано. Любое квантование — компромисс, и 4 бита на такой модели нужно проверять на своих задачах: код, длинные документы, работа с картинками.

Остаются и другие практические вопросы:

  • Память под контекст. Веса — только часть расхода. Если реально использовать контекст в миллион токенов, под кэш вычислений понадобится дополнительная память, и квантование весов её не уменьшает.
  • Железо. NVFP4 создавался с расчётом на GPU NVIDIA нового поколения. На более старых картах выигрыш в памяти может не дать выигрыша в скорости — уточняйте в документации.
  • Инструменты запуска. Проверьте в карточке, какие движки инференса поддерживают эту сборку и какие версии нужны.
  • Лицензия. Условия использования указаны в карточке модели; для коммерческого применения их стоит прочитать до развёртывания.

Зачем это знать

Для команд, которые строят агентов и хотят держать модель у себя — из-за требований к данным или стоимости API — релиз показывает тренд: производитель железа сам готовит сжатые версии крупных открытых моделей. Это снижает порог входа, но не отменяет работу. Сначала прогоните сборку на собственных тестах и сравните с более лёгкой альтернативой, а потом считайте стоимость владения. Если качество на ваших задачах устроит, 4-битная версия модели такого масштаба может оказаться заметно дешевле в эксплуатации, чем полноразмерная.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно опубликовано?

Согласно карточке модели, Kimi K3.1 Pro — мультимодальная модель с архитектурой Mixture of Experts (MoE, «смесь экспертов»). В ней 2,8 трлн параметров в сумме, но на обработку каждого токена задействуются только 104 млрд. Представьте огромную библиотеку, где на каждый вопрос открывают лишь несколько нужных полок, а не перелистывают все книги подряд. Модель принимает текст и изображения, а заявленный предел контекста — 1 048 576 токенов, то есть около миллиона.

Что известно по теме: что даёт NVFP4 на пальцах?

Квантование — это хранение каждого числа в меньшем количестве бит. Обычно один параметр занимает 16 бит. NVFP4 — 4-битный формат с плавающей точкой от NVIDIA: значения группируются в небольшие блоки, и у каждого блока есть свой масштабный коэффициент. Это помогает сохранить больше точности при такой плотной упаковке. Посчитаем грубо: 16 бит: 2,8 трлн параметров — около 5,6 ТБ только под веса. 8 бит: около 2,8 ТБ. 4 бита: порядка 1,4 ТБ.

Что известно по теме: что стоит проверить перед запуском?

В исходном посте нет ни замеров качества, ни скорости, поэтому судить, насколько модель потеряла в точности после сжатия, рано. Любое квантование — компромисс, и 4 бита на такой модели нужно проверять на своих задачах: код, длинные документы, работа с картинками. Остаются и другие практические вопросы: Память под контекст. Веса — только часть расхода. Если реально использовать контекст в миллион токенов, под кэш вычислений понадобится дополнительная память, и квантование весов её не уменьшает. Железо.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…