Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураОткрытые веса · В работуX: @lmsysorg→ оригинал

Движок SGLang с ядрами Humming ускорил первый токен на 7–23%, вывод — на 17–34%

Веса MoE-моделей вроде DeepSeek хранят в 4 битах, чтобы влезть в видеопамять, но перед умножением их надо распаковать. Ядра Humming в SGLang делают это прямо в регистрах GPU. На 8 картах H20-3e первый токен приходит на 7–23% быстрее, чем с Marlin, а FP8 вместо BF16 добавляет 17–34% скорости вывода. Прежде чем выбирать бэкенд, сравните оба на своей нагрузке.

AI-обработка оригинала X: @lmsysorg; редакция Hamidun News
Движок SGLang с ядрами Humming ускорил первый токен на 7–23%, вывод — на 17–34%
Источник: X: @lmsysorg. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @lmsysorg ↗
Главный редактор
Ключевой факт #1Humming компилирует ядра на лету для карт NVIDIA от Turing до Blackwell
ТестDeepSeek-V4.1-Flash-1017, MXFP4-веса, BF16-активации, промпты 4K–1016K
Ключевой факт #3FP8-активации дали +17–34% токенов/с при 1, 32 и 64 запросах

Большие модели с архитектурой MoE (Mixture of Experts, «смесь экспертов») вроде DeepSeek дороги в запуске: они занимают много видеопамяти, а на каждый запрос работает лишь часть «экспертов». Чтобы уместить их в память, веса хранят в 4 битах. Но перед умножением эти веса нужно превратить обратно в формат, который понимает видеокарта, и если ядра делают это неэффективно, весь выигрыш пропадает. Команда LMSYS, развивающая движок SGLang для запуска LLM, показала своё решение — библиотеку Humming. По их замерам, на длинных промптах она сокращает время до первого токена (то есть задержку перед началом ответа, фазу «префилла») на 7–23% относительно Marlin, популярного бэкенда для низкоразрядных весов. А если выбрать для вычислений экспертов формат FP8 вместо BF16, выходная скорость растёт на 17–34%.

Что такое Humming и как она устроена

Humming — набор низкоразрядных ядер (маленьких программ для GPU), которые компилируются «на лету» (JIT) под конкретную задачу. Они работают и для плотных слоёв, и для MoE-слоёв на видеокартах NVIDIA от поколения Turing до Blackwell. Это не оптимизация под одну свежую карту, а инструмент для разных парков железа.

Самый интересный путь описан для Hopper. Веса экспертов остаются упакованными в 4 бита. Лишь в последний момент, прямо в регистрах (самой быстрой памяти чипа), из них восстанавливаются операнды в FP8 — непосредственно перед умножением на Tensor Core. Аналогия: вместо того чтобы распаковывать на складе целую фуру товара, курьер вскрывает коробку у двери клиента. Память под «распакованные» веса не расходуется, данные лишний раз не гоняются туда-обратно.

Плотные слои при этом остаются на родном FP8-пути: Humming их не трогает.

Какие цифры получились

Замеры сделаны на DeepSeek-V4.1-Flash-1017 на восьми GPU H20-3e с конфигурацией TP8/EP1. В анонсе два сравнения.

Первое — Humming против Marlin. На обоих бэкендах использовались веса MXFP4 и BF16-активации экспертов. Humming ускорил префилл в 1,07–1,23 раза, то есть на 7–23%, на промптах длиной от 4K до 1016K. Метрика — время до первого токена. Для сервисов, где пользователь отправляет большие документы или репозитории, именно она определяет ощущение скорости.

Второе — сравнение внутри Humming. На том же чекпойнте перевод активаций экспертов с BF16 на FP8 увеличил выходную пропускную способность на 17–34% при 1, 32 и 64 параллельных запросах. Прирост виден и при одиночных запросах, и при нагрузке, так что это не эффект только для больших батчей.

Что это значит на практике

Если вы поднимаете MoE-модели на собственных GPU:

  • Marlin не обязан быть выбором по умолчанию. На длинных промптах Humming выиграл 7–23% по времени до первого токена.
  • Формат активаций тоже важен. Переход с BF16 на FP8 для экспертов даёт прирост скорости вывода, а значит снижает стоимость токена на тех же машинах.
  • Поддержка карт от Turing до Blackwell упрощает жизнь тем, у кого смешанный парк: одни и те же ядра можно пробовать на разном железе.

Ограничения

Это результаты самих авторов из короткого анонса. Тест проведён на одной модели и одной конфигурации — восемь H20-3e с TP8/EP1. На других картах, другой параллелизации или других чекпойнтах цифры могут отличаться. В анонсе нет данных о влиянии FP8-активаций на качество ответов, поэтому перед продакшеном стоит прогнать свои оценочные наборы. Сравнение с Marlin приведено только для префилла, а не для декодирования.

Подробности опубликовали команды Venus и SCT в полном посте. Разумный план для инженеров: взять типичную нагрузку, прогнать её на SGLang с Marlin и с Humming, сравнить время до первого токена и токены в секунду, а затем отдельно проверить качество при FP8-активациях.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое Humming и как она устроена?

Humming — набор низкоразрядных ядер (маленьких программ для GPU), которые компилируются «на лету» (JIT) под конкретную задачу. Они работают и для плотных слоёв, и для MoE-слоёв на видеокартах NVIDIA от поколения Turing до Blackwell. Это не оптимизация под одну свежую карту, а инструмент для разных парков железа. Самый интересный путь описан для Hopper. Веса экспертов остаются упакованными в 4 бита.

Что известно по теме: какие цифры получились?

Замеры сделаны на DeepSeek-V4.1-Flash-1017 на восьми GPU H20-3e с конфигурацией TP8/EP1. В анонсе два сравнения. Первое — Humming против Marlin. На обоих бэкендах использовались веса MXFP4 и BF16-активации экспертов. Humming ускорил префилл в 1,07–1,23 раза, то есть на 7–23%, на промптах длиной от 4K до 1016K. Метрика — время до первого токена. Для сервисов, где пользователь отправляет большие документы или репозитории, именно она определяет ощущение скорости. Второе — сравнение внутри Humming.

Что известно по теме: что это значит на практике?

Если вы поднимаете MoE-модели на собственных GPU: Marlin не обязан быть выбором по умолчанию. На длинных промптах Humming выиграл 7–23% по времени до первого токена. Формат активаций тоже важен. Переход с BF16 на FP8 для экспертов даёт прирост скорости вывода, а значит снижает стоимость токена на тех же машинах. Поддержка карт от Turing до Blackwell упрощает жизнь тем, у кого смешанный парк: одни и те же ядра можно пробовать на разном железе.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…