NVIDIA ужала модель Nemotron с 120 до 74 млрд параметров ради 24 ГБ видеопамяти

Компании, которые делают ИИ-модели общего назначения, обычно соревнуются в размере: больше параметров — умнее модель. Но для локального ИИ-компьютера, который должен работать параллельно с другими программами на ограниченном объёме видеопамяти, в приоритете другое — сколько пользы модель приносит на каждый гигабайт памяти. NVIDIA решила эту задачу, взяв свою флагманскую мультимодальную модель Nemotron 3.5 Super VL (120 млрд параметров, из них 12 млрд активных на каждый токен) и ужав её до версии Nemotron 3.5 Bolt 74B-A9B, которая помещается в 24 ГБ памяти — ровно столько, сколько доступно на компактных ИИ-компьютерах NVIDIA RTX Spark и DGX Spark.

Как резали модель без потери мозгов

Вместо того чтобы вручную выбирать, какие части нейросети выбросить, NVIDIA использовала собственный инструмент Star Elastic — он автоматически подбирает, сколько «экспертов» (отдельных подсетей, которые активируются для конкретных задач) оставить в каждом слое модели, а какие отсечь. Процесс происходит одновременно с обучением: специальный «роутер» перебирает варианты архитектуры, при этом параллельно идёт дистилляция знаний — исходная модель-учитель на 120 млрд параметров подсказывает сжатой версии правильные ответы, чтобы та не растеряла способности. В итоге число активных «экспертов» на один токен сократили с 22 до 9, а общий размер модели — с 120 до 74 млрд параметров.

После сжатия модель заново обучали: сначала восстанавливали способность понимать изображения (для этого к сжатой текстовой части подключили заново обученный визуальный модуль родительской модели), затем прогоняли через обучение с подкреплением на реальных агентных задачах — работе с инструментами по протоколу MCP, терминалом и код-ревью в духе SWE-бенчей. Именно это обучение подняло результат на бенчмарке MCP-Atlas с 48 до 56 баллов — то есть модель стала заметно лучше справляться с многошаговыми задачами, где нужно последовательно вызывать разные инструменты.

Квантование до 2 бит — и как это не убило точность

Главный рычаг экономии памяти — не архитектурное сжатие, а агрессивное квантование весов. Обычно модели хранят в 16-битном формате (BF16), NVIDIA же сжала большинство «экспертных» слоёв до 2,0625 бита на параметр — то есть каждое число в нейросети теперь занимает примерно в 8 раз меньше места. Это сократило вес модели с 148 ГБ (в несжатом BF16) до 22,1 ГБ — экономия 85%.

Ключевая находка команды: лучше взять модель побольше и сжать её сильнее, чем модель поменьше сжимать слабее — при одинаковом итоговом размере первый вариант точнее. Чтобы само квантование не роняло качество ответов, использовали дистилляцию прямо во время сжатия (Quantization-Aware Distillation): несжатая модель-учитель на лету подсказывает сжатой версии, как сохранять правильные распределения вероятностей по словам. Для этого авторы перебрали несколько функций потерь и остановились на мере Жаккара (она измеряет перекрытие двух наборов вероятностей) — она дала лучший результат именно для такого глубокого сжатия. Не все слои сжали одинаково: часть слоёв (например, отвечающих за обработку длинного контекста) оставили в формате NVFP4, а эмбеддинги и выходной слой — в 8-битном Q8_0, чтобы не терять точность там, где она критична.

Что получилось на практике

На RTX Spark модель выдаёт 84 токена в секунду благодаря дополнительному «драфт»-модулю LiLiCorr — вспомогательной мини-модели, которая угадывает несколько следующих слов вперёд, а основная модель их просто проверяет (это называется спекулятивным декодированием и ускоряет генерацию без потери качества). Скорость сопоставима с моделями, у которых в разы меньше активных параметров, но при этом Nemotron 3.5 Bolt обходит их по точности на тестах агентных задач (GDPVal v2), веб-браузинга (BrowseComp) и работы с терминалом (Terminal-Bench 2.1).

По девяти ключевым бенчмаркам средний балл упал с 57,58 у полноразмерной модели до 54,74 у сжатой — потеря всего 4,94%, хотя модель стала легче в 6,7 раза по весу (148 ГБ → 22,1 ГБ). Для разработчиков локальных ИИ-агентов — тех, кто хочет запускать мощного помощника на компактном железе без облака — это конкретный инструмент: веса доступны в формате Hugging Face и GGUF, модель поддерживается в llama.cpp и vLLM, а вместе с ней NVIDIA выложила и сам драфт-модуль LiLiCorr для ускорения.