NVIDIA Nemotron-Labs-3-Puzzle-75B: сжатие модели на 37% ускорило сервер в 2 раза

9 июля 2026 года NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B, сжатую версию языковой модели Nemotron-3-Super. Инженеры NVIDIA использовали методику Puzzle, которая чередует аппаратно-ориентированное сжатие с фазами восстановления знаний. В результате модель сократилась на 37% — с 120.7B до 75.3B параметров, но производительность серверного класса возросла на 2.03x. На одном узле с восемью ускорителями B200 модель обслуживает 100 токенов в секунду на каждого пользователя. На одном H100 пропускная способность при максимальном контексте 1 млн токенов подскочила с 1 до 8 одновременных запросов.

Как устроен метод Puzzle

Nemotron-Labs-3-Puzzle-75B создана по новому методу Puzzle, который решает классическую проблему: при сжатии модели она теряет умения. Инженеры NVIDIA нашли решение — чередовать два шага.

На шаге структурного сжатия алгоритм удаляет или прореживает нейроны, ориентируясь на потребление энергии и пропускной способности на конкретном оборудовании. Это не просто отсечка весов, а анализ аппаратного профиля. Затем идёт короткая фаза дистилляции знаний — исходная модель Nemotron-3-Super «обучает» сжатую версию, восстанавливая потерянные знания.

Процесс повторяется итеративно: сжатие → дистилляция → сжатие → дистилляция. Результат — модель сохраняет способность отвечать на сложные вопросы, писать код и анализировать контекст, но требует на 37% меньше памяти.

• Исходная модель: 120.7B параметров, из них 12.8B активны одновременно
• Сжатая модель: 75.3B параметров, из них 9.3B активны
• Тип архитектуры: гибридная Mixture of Experts (MoE)
• Метод: итеративное аппаратное сжатие и дистилляция знаний
• Выигрыш по памяти: примерно 37% сокращения

Производительность на разных ускорителях

Главное преимущество Nemotron-Labs-3-Puzzle-75B — пропускная способность, а не скорость отдельного запроса. Это критично для облачных API и корпоративных сервисов, которые одновременно обслуживают тысячи пользователей.

На новейшем оборудовании — узел с восемью ускорителями NVIDIA B200 — модель Puzzle показывает пропускную способность в 2.03x выше чем Nemotron-3-Super. Каждому пользователю гарантирована скорость обработки минимум 100 токенов в секунду.

На более доступных H100 прибыль ещё впечатляющей. При контексте 1 млн токенов параллелизм вырос с 1 до 8 одновременных запросов. То есть один H100 теперь обслуживает в 8 раз больше пользователей при той же задержке.

Почему это важно для индустрии

Результаты Nemotron-Labs-3-Puzzle-75B указывают, что эпоха гигантских, неоптимизированных моделей заканчивается. Компании ценят не размер модели, а соотношение качества к производительности на конкретном оборудовании. NVIDIA показала, что даже модели с десятками миллиардов параметров поддаются рациональному сжатию.

Метод Puzzle, вероятно, станет стандартом для подготовки LLM к промышленному развёртыванию. Стартапы и компании среднего размера получат инструмент, чтобы брать мощные модели и оптимизировать их под свои данные центры — будь то облако или edge-устройства.

Что это значит

NVIDIA демонстрирует, что будущее за оптимизированными, а не гигантскими моделями. Сжатие на 37% при ускорении на 200% — это не компромисс, а явный прогресс. Компании, которые развёртывают LLM, получат инструмент для экономии денег на вычислениях без потери функциональности.