NVIDIA выпустила Nemotron 3.5 Bolt E4B на 4 ГБ и 133 токена в секунду на RTX 5070

NVIDIA опубликовала веса Nemotron 3.5 Bolt E4B — самой компактной модели в линейке Nemotron 3.5, рассчитанной на локальный запуск на видеокартах GeForce RTX, платах Jetson и мини-компьютерах Spark. В 4-битном квантовании она занимает около 4 ГБ памяти, на RTX 5070 выдаёт 133 токена в секунду, а первый токен появляется через 548 мс. Релиз вышел чуть больше чем через неделю после анонса мультимодальной Nemotron 3.5 Super VL и её сжатой версии Bolt на 74 млрд параметров. Тогда NVIDIA пообещала и малую модель — теперь она в открытом доступе.

Не сжатие старшей модели, а дообучение Gemma

Происхождение у E4B другое, чем у старшего Bolt. 74-миллиардная версия получилась сжатием Super VL. Малая модель собрана на Gemma 4 E4B от Google: NVIDIA дообучила её с подкреплением под следование инструкциям, многошаговый вызов инструментов и диалоги.

Параметров всего 8 млрд, но на каждый токен работают 4 млрд. Контекст — 64 тысячи токенов, поддерживаются 35 языков. Рассуждения можно включать и выключать, а их длину ограничивать ради скорости. Для пользователя локальной модели это важный рычаг: цепочка рассуждений съедает токены и время, и на слабом железе её часто разумнее урезать.

Что показывают замеры и где модель проигрывает

По данным NVIDIA, Bolt E4B в среднем на 40% лучше предыдущей Nemotron 3 Nano 4B и тратит до 80% меньше токенов на ответ. Родительскую Gemma 4 E4B она обходит почти везде. Все цифры — собственные замеры компании, независимых проверок пока нет.

Сильнее остаётся Qwen3.5 4B. В работе с инструментами на Tau2-Bench (бенчмарк агентных диалогов с вызовом функций) у неё 61,7 против 52,3 у новинки. В длинном контексте на RULER (набор задач на поиск и использование информации в длинном тексте) разрыв такой же заметный: 95,4 против 85,8. Если вам нужен надёжный tool calling или работа с длинными документами на малой модели, выбор в пользу Bolt E4B не очевиден.

Скорость сильно зависит от железа. На плате Jetson Orin Nano первый токен приходится ждать 5,8 секунды, а дальше идёт 15,5 токена в секунду. Это в десятки раз медленнее старта на RTX 5070 по задержке и почти в девять раз по пропускной способности. Для интерактивного ассистента на Orin Nano такой отклик может быть тесноват.

Черновые модели DFlash и поддержка в рантаймах

Вместе с весами в BF16 и GGUF NVIDIA выложила отдельные вспомогательные модели-черновики по методу DFlash. Они предлагают сразу несколько следующих токенов, а основная модель их проверяет. По словам NVIDIA, это даёт до 21% прироста скорости. Качество ответов при таком подходе определяется основной моделью, а выигрыш получается за счёт параллельной проверки.

Поддержка уже есть в llama.cpp, Ollama, LM Studio, vLLM и SGLang, так что модель можно запустить и на ноутбуке, и в серверном стеке без своих доработок. Лицензия — OpenMDW 1.1. К весам прилагаются блогпост и технический отчёт.

Для практиков вывод такой. Bolt E4B выглядит удачным кандидатом для приложений на RTX и Spark, где нужны быстрый отклик, многоязычность и управляемые рассуждения при скромных 4 ГБ памяти. Для сценариев с тяжёлыми агентными цепочками или длинным контекстом стоит сначала прогнать модель на своих задачах и сравнить с Qwen3.5 4B. А на Jetson Orin Nano проверьте реальную задержку до запуска в продукт.