Cline выжала 11 840 токенов/с из одной станции NVIDIA DGX Station

Команда Cline довела суммарную скорость генерации открытой модели на одном GPU до 11 840 выходных токенов в секунду. Рекорд зафиксирован 15 октября на станции NVIDIA, к которой у инженеров был доступ благодаря сотрудничеству с NVIDIA. Стартовая точка была уже высокой: чистый vLLM 0.32.0rc1 выдавал 6 058 токенов/с на тесте с 512 входными и 512 выходными токенами при 256 одновременных потоках. Итоговый результат примерно в 1,95 раза выше.

Модель создавалась как быстрая локальная рабочая лошадка для разных задач: разбор документов, кодинг, финансовый учёт. На одной машине у неё есть бюджет GPU-памяти в 252 ГБ. В демонстрации Cline на такой станции без ускорения видео работают 32 параллельных экземпляра Cline поверх Nemotron 3.5 Super VL.

Пять шагов от 6 058 до 11 840

Cline описывает не одну находку, а серию экспериментов, из которых сработали пять:

• Встроенная голова MTP. Multi-token prediction шла вместе с моделью. Инженеры начали с MTP3, то есть с трёх черновых токенов за шаг, и зафиксировали OMP1: один поток CPU удобнее, потому что несколько потоков добавляют накладные расходы на координацию.
• Асинхронное планирование. При высокой конкурентности GPU занят вычислительными ядрами, а CPU занят планированием. Асинхронный режим позволяет планировщику не ждать, пока GPU закончит работу.
• Ядро Mamba на FlashInfer. Модель гибридная: attention-слои используют KV-кэш, а слои Mamba хранят рекуррентное состояние и короткую историю свёртки. Возврат на ядро FlashInfer дал заметный скачок. Почему именно так, авторы до конца не поняли, и на другом железе эффект может не повториться.
• MTP1 вместо MTP3. Контринтуитивный шаг, который снова поднял пропускную способность.
• Состояние Mamba в FP16 вместо FP32 со стохастическим округлением. Это снижает точность и потенциально метрики на бенчмарках, но для цели «максимум токенов в секунду» цена оказалась приемлемой.

Почему меньше черновых токенов оказалось быстрее

Спекулятивное декодирование выглядит как бесплатный бонус: чем больше черновых токенов предсказано, тем больше шанс принять сразу несколько. Но каждый черновик нужно проверить. Если проверка не проходит, время модели потрачено впустую. На 256 параллельных потоках GPU и без того полон полезной работы, и дополнительная проверка не окупается. Поэтому MTP1 обогнал MTP3.

Выигрыш MTP на малой нагрузке и на высокой конкурентности может выглядеть противоположным образом. Тот же рецепт мог бы навредить на другом профиле трафика. Cline прямо говорит: инференс-инженерия предельно контекстна, а масштабирование зависит от формы трафика.

Экономика: минус 66% к цене API

Главный практический вывод Cline считает на салфетке. Если сравнить оплату API с полностью загруженным GPU, получается скидка 66% на инференс. Условие жёсткое: GPU должен быть занят почти всё время. Тогда дешевле взять рецепт Cline и платить за железо, чем ходить через роутер моделей и платить за каждый вызов.

Из этого вытекают два прогноза команды. Первый: самохостинг десятков параллельных локальных агентов станет обычной практикой, а 32 Cline на одной станции это уже показывают. Второй: автомасштабирование инференса станет агентным. Агент с доступом к метрикам Grafana сможет прогонять нагрузочные тесты на выделенном GPU, не затрагивающем боевой трафик. Он будет подбирать лучшую конфигурацию под реальную форму запросов, а затем аккуратно переводить трафик на новую конфигурацию. Такая «самолечащаяся» система будет подстраивать расход GPU под время суток и нагрузку.

Что проверить перед повторением рецепта

Рецепт нельзя копировать вслепую. Сначала нужно зафиксировать свой профиль: длины промптов и ответов, число одновременных потоков, допустимую задержку. Дальше полезно прогнать те же пять переключателей по одному. Для высокой конкурентности стоит сравнить MTP1 и MTP3, а на небольшом числе потоков эффект может оказаться обратным. Замена FP32 на FP16 в состоянии Mamba обязательно требует повторного прогона оценочных наборов, потому что скорость здесь куплена ценой точности. И наконец, расчёт экономии в 66% верен только при высокой утилизации GPU: если станция простаивает, API снова становится выгоднее.