Nemotron 3.5 Super VL в SageMaker: 120B-модель для документов и GUI-агентов за 10 минут

Если вы делаете агента, который должен не просто болтать, а смотреть на скриншот, читать счёт-фактуру или разбираться в графике, то обычно приходится собирать зоопарк: отдельный OCR, отдельная языковая модель, клей между ними. NVIDIA и AWS предлагают другой путь. Nemotron 3.5 Super VL теперь доступна в SageMaker JumpStart, и развернуть её можно в несколько кликов в Studio или несколькими строками на Python.

Что внутри

Это мультимодальная модель: на вход принимает изображения, видео и текст, на выходе отдаёт текст. Всего в ней 120 млрд параметров, но благодаря архитектуре Mixture-of-Experts на каждый токен работает лишь 12 млрд. Языковая часть гибридная: слои Mamba-2 чередуются с MoE-слоями, плюс восемь слоёв внимания. За зрение отвечает энкодер C-RADIO. Заявленный контекст — до 1 млн токенов, но об этом числе ещё поговорим.

Модель умеет вызывать инструменты, выдавать JSON по заданной схеме, а рассуждения включаются и выключаются на каждый запрос параметром enable_thinking. Для извлечения полей из счёта рассуждения лучше отключить: быстрее и дешевле. Для сложных вопросов по графику их стоит оставить.

В JumpStart доступны два варианта. NVFP4 весит около 75 ГБ и рассчитан на быстрый инференс, BF16 занимает около 249 ГБ и нужен тем, кто собирается дообучать модель, дистиллировать или делать свою квантизацию.

Железо, скорость и качество

NVFP4-версия по умолчанию едет на ml.g7.24xlarge: четыре GPU RTX PRO 4500 Blackwell, 128 ГБ памяти. BF16 требует ml.p5en.48xlarge с восемью H200. По замерам AWS (250 токенов на входе, 1500 на выходе, пять параллельных потоков) картина такая:

• g7.24xlarge, NVFP4: около 63 токенов/с на запрос, 0,45 с до первого токена;
• g7.48xlarge, NVFP4: около 64 токенов/с, 0,51 с;
• p5en.48xlarge, BF16: около 141 токена/с, 0,53 с.

Сравнивать NVFP4 и BF16 по этим цифрам честно нельзя: железо разное. Зато по качеству квантованная версия почти не проигрывает. На MMLongBench-Doc обе набирают 62,82, на CharXiv NVFP4 чуть слабее (79,88 против 80,82), а на OSWorld-Verified, тесте на управление компьютером, даже чуть лучше (52,30 против 51,14). Эти метрики из карточек NVIDIA, так что относитесь к ним как к заявленным, а не независимо проверенным.

Подводные камни, о которых стоит знать до деплоя

Первое: миллион токенов контекста в JumpStart вы не получите. Конфигурации обслуживания рассчитаны на 520–15 600 токенов. Страница 1536×1024 съедает около 1536 токенов, так что длинный многостраничный документ в один запрос не влезет.

Второе: один запрос принимает одно изображение и одно видео. Сырые PDF модель не понимает, их нужно заранее превращать в картинки по страницам. Медиа передаются только inline в base64, потому что эндпоинт работает в сетевой изоляции и по ссылкам ходить не может.

Третье: длинные промпты тормозят. На входе в 10 000 токенов время до первого токена на g7.24xlarge — 12,6 секунды. Для интерактивного чата это много, для пакетной обработки документов терпимо.

Четвёртое: MTP-голова для speculative decoding в чекпойнте есть, но в конфигурации JumpStart не включена. LoRA-адаптеры эндпоинт не загружает, обслуживаются только базовые веса. Квоты на инстансы g7 в новых аккаунтах стартуют с нуля, поэтому запрос на увеличение нужно отправить заранее. Для SDK понадобится SageMaker Python SDK v3 версии 3.25 и выше, а тип инстанса надо явно указать в Compute, иначе сборка упадёт на ml.m5.large по умолчанию.

Что с этим делать

Если у вас поток счетов, договоров или отчётов и вы не хотите гонять данные за пределы AWS, это быстрый способ проверить гипотезу: развернуть NVFP4 на g7.24xlarge, отрендерить страницы в PNG и попросить JSON. Для GUI-агентов результат OSWorld около 52% говорит о том, что модель годится для экспериментов, но не для безнадзорной автоматизации. Лицензия — OpenMDW 1.1, обязательно прочитайте её на карточке модели перед деплоем. А продакту полезно заранее посчитать бюджет на простой эндпоинта: 120B-модель на четырёх GPU стоит денег, даже когда никто не отправляет запросы.