NVIDIA Nemotron 3.5 Super VL: 120 млрд параметров, 12 млрд активных, запуск на AWS

NVIDIA выпустила мультимодальную модель Nemotron 3.5 Super VL, а команда AWS разобрала, как запускать её в собственных кластерах Kubernetes. В модели 120 млрд параметров, но на каждый токен (кусочек слова) работают только 12 млрд. Это схема mixture-of-experts: внутри сети есть группы «экспертов», и для каждого токена специальный маршрутизатор выбирает лишь несколько. Вычислений выходит как у небольшой модели, а вот память GPU всё равно должна вместить все 120 млрд весов. Модель понимает текст, изображения, документы и видео, а выдаёт текст. Она открытая: NVIDIA публикует веса, обучающие датасеты и рецепты дообучения. Модель получена дистилляцией из более крупной Nemotron 3 Ultra, то есть её обучили повторять поведение большой «учительницы».

В линейке Nemotron на AWS уже доступны Nemotron 3 Nano, Nano Omni, Super, Ultra и Nemotron 3.5 Lightning. Super VL пополняет этот список.

Гибридная архитектура и заявленные результаты

Внутри чередуются три типа слоёв: Mamba-2, обычное внимание (attention) и слои экспертов. Зрение обеспечивает энкодер RADIO. Преимущество Mamba-2 в том, что при генерации она хранит состояние фиксированного размера. У обычного внимания память под KV-кэш (запоминание уже прочитанного контекста) растёт вместе с длиной текста. Поэтому контекст до 1 млн токенов обходится заметно дешевле, чем в чистом трансформере. Ещё в модель встроена голова Multi-Token Prediction, она позволяет использовать спекулятивное декодирование: модель предлагает сразу несколько токенов вперёд, а затем проверяет их.

NVIDIA приводит такие результаты (это данные самой компании, независимых замеров в материале нет):

• 63,44% на Hermes Bench, тесте агентных задач;
• 87,05% на оценках агентов LangChain, то есть на проверках работы в популярном фреймворке для агентов;
• 80,8% на CharXiv, наборе вопросов по графикам из научных статей.

Заявленные сценарии: проверка и отладка кода, сверка источников после веб-поиска, чтение таблиц и схем в документах, разбор уязвимостей и угроз в кибербезопасности, поиск и анализ инцидентов в видео.

Сколько GPU нужно и как устроен кластер

Минимальные конфигурации для vLLM (сервера инференса) такие:

• B200/GB200: 8 GPU в BF16, 2 GPU в NVFP4;
• B300/GB300: 4 GPU в BF16, 1 GPU в NVFP4;
• H200: 8 GPU в BF16, 4 GPU в NVFP4;
• H100: 16 GPU в BF16, 8 GPU в NVFP4.

NVFP4 — 4-битный формат чисел. Он сжимает веса примерно вчетверо относительно BF16 и поэтому требует вдвое-вчетверо меньше карт. На H100 для BF16 придётся брать два узла по 8 GPU.

Примерная архитектура у AWS такая. Управляющая часть Kubernetes (control plane) отвечает за API. CPU-узлы держат служебные и тестовые поды, GPU-узлы запускают модель. Образы контейнеров лежат в Amazon ECR, веса хранятся на общем томе Amazon FSx for Lustre, а GPU-узлы соединены сетью Elastic Fabric Adapter (EFA). Манифесты Kubernetes одинаковы для трёх вариантов оркестрации: обычного EKS, EKS Auto Mode (там AWS сама управляет масштабированием, драйверами GPU и EFA) и SageMaker HyperPod EKS. Схему проверили на инстансах p6-b200.48xlarge (8 GPU B200) и p5en.48xlarge (8 GPU H200). Пошаговая инструкция лежит в проекте aws-do-eks.

Как планировать мощность по кривым задержки

Модель обслуживает NVIDIA Dynamo. Он умеет работать в двух режимах: на одном узле целиком или в разделённом виде, когда prefill (чтение промпта) и decode (генерация ответа) идут на разных узлах. Для моделей со зрением ещё и кодирование картинок и видео можно вынести на отдельный узел.

Кластер сначала проверяют микротестом NCCL all-reduce. Если во время теста загружены все GPU и идёт трафик по всем адаптерам EFA, сеть настроена верно. Затем инструмент aiperf замеряет:

• TTFT, время до первого токена;
• ITL, паузу между токенами;
• TPS, общую пропускную способность в токенах в секунду.

Замеры повторяют при разном числе одновременных запросов (concurrency sweep). AWS показывает пример планирования. Задаём лимиты: TTFT до 600 мс, ITL до 100 мс на токен. Ищем самую правую точку графика, которая под обоими лимитами. В примере это 32 одновременных запроса и около 320 токенов в секунду на одну реплику, то есть пару prefill-decode. Дальше всё арифметика: целевую пропускную способность делим на эти 320 и получаем число пар.

На двух узлах разделённый режим дал меньший TTFT, чем совмещённый, а ITL остался почти таким же. Рост ITL говорит, что нужно добавлять decode-мощность, рост TTFT — prefill.

Практический вывод для инженеров: для квантованной модели хватит одной современной карты B300, а выбор между режимами лучше делать по собственным замерам, повторяя тест после смены точности, схемы параллелизма или версии Dynamo и vLLM. Цифры качества пока заявлены самой NVIDIA, а сам материал — часть партнёрской документации AWS. Сравнивать модель с конкурентами стоит на ваших задачах.