Habr AI→ оригинал

NVIDIA Nemotron 3 Super 120B: Testing on Real Analytics Tasks on a Single GPU

NVIDIA released Nemotron 3 Super 120B — 120 billion parameters, 256K token context, and agentic mode on a single GPU. The Luxms BI team tested the model for a w

NVIDIA Nemotron 3 Super 120B: Testing on Real Analytics Tasks on a Single GPU
Источник: Habr AI. Коллаж: Hamidun News.

NVIDIA выпустила Nemotron 3 Super 120B — модель с 120 миллиардами параметров, которая, по заявлению компании, полностью умещается на одной видеокарте и при этом удерживает контекст в 256 тысяч токенов. Команда Luxms BI — российской платформы для бизнес-аналитики — решила проверить эти обещания в деле и провела неделю тестирования на реальных корпоративных данных. Это не синтетические бенчмарки и не демонстрационные примеры: модель встроили в рабочий BI-инструмент и проверили на живых задачах.

Немного о самой модели. Nemotron 3 Super 120B — флагман нового модельного стека NVIDIA, вышедшего в 2025 году. Архитектура оптимизирована под эффективный вывод на одиночных GPU без необходимости собирать многокарточные кластеры.

Три параметра выделяют её среди конкурентов в классе open-weight. Первый — 120 миллиардов параметров, что сопоставимо с лучшими открытыми моделями. Второй — контекстное окно в 256 тысяч токенов, один из наиболее высоких показателей в своём классе.

Третий — нативная поддержка агентного поведения: модель умеет самостоятельно планировать многошаговые задачи, вызывать внешние инструменты и корректировать свои действия на основе промежуточных результатов без постоянного участия оператора. Ключевой вопрос, который ставила перед собой команда Luxms BI: можно ли сегодня закрывать реальные аналитические задачи на одном GPU там, где прежде требовался кластер? Это важно по двум причинам.

Во-первых, экономика: GPU-кластер в корпоративном контуре — это значительные капитальные и операционные затраты, особенно для компаний среднего размера. Во-вторых, безопасность: многие организации не могут или принципиально не хотят отправлять чувствительные данные в облачные сервисы. Одна мощная видеокарта с достаточной моделью — это другая экономика и принципиально другой уровень контроля над данными.

Тестирование охватило три категории задач. Первая — генерация SQL-запросов по описанию на естественном языке: аналитик описывает, что хочет увидеть в отчёте, модель пишет запрос к реляционной базе данных. Вторая — интерпретация дашбордов: объяснение динамики метрик, поиск аномалий, выявление трендов по числовым данным.

Третья и наиболее показательная — агентный анализ многошаговых бизнес-сценариев, где модели требовалось последовательно обратиться к нескольким источникам данных, сопоставить результаты и сформулировать аналитический вывод. Контекст в 256K токенов оказался не просто маркетинговой цифрой, а практически значимым параметром. В реальной аналитике нередко нужно держать в памяти одновременно объёмную схему данных, цепочку промежуточных результатов и широкий бизнес-контекст.

Модели с меньшим контекстным окном теряют нить рассуждений на длинных цепочках. Nemotron 3 Super справлялась с этим заметно устойчивее. Агентный режим подтвердил потенциал, но обнаружил практическое ограничение: он требует тщательной настройки системных промптов и корректно организованного инструментального окружения.

Слабые стороны тоже проявились. В задачах, требующих глубокой доменной экспертизы, — финансовый анализ с отраслевой спецификой или многоуровневые логические выводы со сложными зависимостями между факторами — модель пока уступает лучшим проприетарным решениям. Это важный ориентир для тех, кто рассматривает Nemotron как полную замену облачным API.

Точные бенчмарки по каждой категории с числами и конкретными примерами — в полной версии материала. Общий вывод для рынка: появление конкурентоспособной 120-миллиардной модели, работающей на одном GPU, — значимый сдвиг в доступности мощных языковых моделей для корпоративной аналитики. Компании теперь имеют реальную возможность развернуть производительную модель внутри собственной инфраструктуры, без облачных сервисов и без дорогостоящего кластера.

NVIDIA планомерно занимает позиции не только в производстве чипов, но и в модельном стеке — и Nemotron 3 Super становится весомым аргументом этой стратегии для корпоративного b2b-рынка.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.
Загружаем комментарии…