Nemotron 3.5 Bolt сжали до 24 ГБ: 74B-модель выдаёт 84 токена в секунду

Исследователи опубликовали на arXiv описание Nemotron 3.5 Bolt 74B-A9B 24GB, гибридной Mamba-Transformer модели с поддержкой изображений. Ее задача: дать максимум скорости и качества на каждый гигабайт памяти для локальных агентных сценариев. У модели 74 млрд параметров, из которых 9 млрд активны при генерации каждого токена, а весь комплект укладывается в 24 ГБ. На RTX Spark она выдает 84 токена в секунду. Для длинных агентных цепочек такой скорости, по оценке авторов, более чем достаточно. Над работой трудились 109 человек, препринт зарегистрирован под номером 2610.33039.

От 120 млрд до 24 ГБ: как ужимали Super VL

Bolt не обучали с нуля. Его вывели из семейства Nemotron 3.5 Super VL 120B-A12B, а сжатие шло в два шага.

Первый шаг называется Star Elastic compression. Он уменьшает саму архитектуру: с 120 млрд общих параметров осталось 74 млрд (минус около 38%), активных вместо 12 млрд стало 9 млрд (минус 25%).

Второй шаг — 2-битная Quantization-Aware Distillation. Веса сжимаются до двух бит, а качество восстанавливается дистилляцией, при которой модель учится уже с учетом квантования. Простая прикидка показывает масштаб: 74 млрд параметров по 2 бита дают порядка 18,5 ГБ только на веса. Остаток от 24 ГБ остается на прочие компоненты и рабочую память. Это расчет по заявленным цифрам, а не измерение из статьи.

Гибридная схема Mamba плюс Transformer здесь тоже работает на экономию памяти и скорость. Модель принимает изображения вместе с текстом, поэтому может читать скриншоты веб-страниц и интерфейсов.

LiLiCorr и 84 токена в секунду

Сжатие дало размер, но не скорость, поэтому команда обучила отдельный спекулятивный драфтер LiLiCorr. Драфтер предлагает несколько токенов вперед, а основная модель проверяет их за один проход. LiLiCorr выложен вместе с моделью, и авторы называют его частью рецепта для целевой скорости.

Итог: 84 токена в секунду на RTX Spark. Авторы сравнивают этот показатель с моделями, у которых число активных параметров заметно меньше. Для агента, который сотни раз вызывает инструменты, листает страницы и гоняет команды в терминале, важна устойчивая скорость, а не пик на коротком ответе.

Что известно о Bolt

• Название: Nemotron 3.5 Bolt 74B-A9B 24GB, из семейства Nemotron.
• Архитектура: гибрид Mamba и Transformer, vision-language модель.
• Параметры: 74 млрд общих, 9 млрд активных.
• Память: 24 ГБ.
• Родитель: Nemotron 3.5 Super VL 120B-A12B.
• Сжатие: Star Elastic compression.
• Квантование: 2-битная Quantization-Aware Distillation.
• Драфтер: LiLiCorr, выпускается вместе с моделью.
• Профиль: рассуждения, агентные вызовы инструментов, работа с вебом и терминалом.
• Бенчмарки: GDPVal v2 (общие агентные способности), BrowseComp (веб-браузинг), Terminal-Bench 2.1 (терминал).
• Скорость: 84 токена в секунду на RTX Spark.
• Публикация: arXiv cs.CV, отправлено 15 октября 2026 года, 109 авторов.

Для кого это сделано

По заявлению авторов, Bolt набирает больше очков, чем ведущие модели с похожим объемом памяти и скоростью. Это касается и общих агентных задач, и веб-серфинга, и работы в терминале. Сравнение идет именно в классе «влезает в одну потребительскую видеокарту», где альтернативы обычно либо мельче, либо медленнее. Независимых замеров пока нет, это результаты самой команды.

Практический вывод для разработчиков простой. Если вы строите локального агента, который сам открывает сайты, запускает команды и разбирает скриншоты, 24 ГБ памяти и 84 токена в секунду переводят такую схему из эксперимента в рабочую. Данные не уходят в облако, а цена токена сводится к электричеству. Проверять стоит три вещи: как квантование в 2 бита ведет себя на ваших задачах, насколько драфтер ускоряет именно ваши сценарии и хватает ли оставшейся памяти на длинный контекст. Отдельный интерес представляет сам рецепт: сжатие большой модели плюс дистилляция при квантовании может стать стандартным путем от дата-центровых весов к локальным.