Движок SGLang с ядрами Humming ускорил первый токен на 7–23%, вывод — на 17–34%
Веса MoE-моделей вроде DeepSeek хранят в 4 битах, чтобы влезть в видеопамять, но перед умножением их надо распаковать. Ядра Humming в SGLang делают это прямо в регистрах GPU. На 8 картах H20-3e первый токен приходит на 7–23% быстрее, чем с Marlin, а FP8 вместо BF16 добавляет 17–34% скорости вывода. Прежде чем выбирать бэкенд, сравните оба на своей нагрузке.
AI-обработка оригинала X: @lmsysorg; редакция Hamidun News
Большие модели с архитектурой MoE (Mixture of Experts, «смесь экспертов») вроде DeepSeek дороги в запуске: они занимают много видеопамяти, а на каждый запрос работает лишь часть «экспертов». Чтобы уместить их в память, веса хранят в 4 битах. Но перед умножением эти веса нужно превратить обратно в формат, который понимает видеокарта, и если ядра делают это неэффективно, весь выигрыш пропадает. Команда LMSYS, развивающая движок SGLang для запуска LLM, показала своё решение — библиотеку Humming. По их замерам, на длинных промптах она сокращает время до первого токена (то есть задержку перед началом ответа, фазу «префилла») на 7–23% относительно Marlin, популярного бэкенда для низкоразрядных весов. А если выбрать для вычислений экспертов формат FP8 вместо BF16, выходная скорость растёт на 17–34%.
Что такое Humming и как она устроена
Humming — набор низкоразрядных ядер (маленьких программ для GPU), которые компилируются «на лету» (JIT) под конкретную задачу. Они работают и для плотных слоёв, и для MoE-слоёв на видеокартах NVIDIA от поколения Turing до Blackwell. Это не оптимизация под одну свежую карту, а инструмент для разных парков железа.
Самый интересный путь описан для Hopper. Веса экспертов остаются упакованными в 4 бита. Лишь в последний момент, прямо в регистрах (самой быстрой памяти чипа), из них восстанавливаются операнды в FP8 — непосредственно перед умножением на Tensor Core. Аналогия: вместо того чтобы распаковывать на складе целую фуру товара, курьер вскрывает коробку у двери клиента. Память под «распакованные» веса не расходуется, данные лишний раз не гоняются туда-обратно.
Плотные слои при этом остаются на родном FP8-пути: Humming их не трогает.
Какие цифры получились
Замеры сделаны на DeepSeek-V4.1-Flash-1017 на восьми GPU H20-3e с конфигурацией TP8/EP1. В анонсе два сравнения.
Первое — Humming против Marlin. На обоих бэкендах использовались веса MXFP4 и BF16-активации экспертов. Humming ускорил префилл в 1,07–1,23 раза, то есть на 7–23%, на промптах длиной от 4K до 1016K. Метрика — время до первого токена. Для сервисов, где пользователь отправляет большие документы или репозитории, именно она определяет ощущение скорости.
Второе — сравнение внутри Humming. На том же чекпойнте перевод активаций экспертов с BF16 на FP8 увеличил выходную пропускную способность на 17–34% при 1, 32 и 64 параллельных запросах. Прирост виден и при одиночных запросах, и при нагрузке, так что это не эффект только для больших батчей.
Что это значит на практике
Если вы поднимаете MoE-модели на собственных GPU:
- Marlin не обязан быть выбором по умолчанию. На длинных промптах Humming выиграл 7–23% по времени до первого токена.
- Формат активаций тоже важен. Переход с BF16 на FP8 для экспертов даёт прирост скорости вывода, а значит снижает стоимость токена на тех же машинах.
- Поддержка карт от Turing до Blackwell упрощает жизнь тем, у кого смешанный парк: одни и те же ядра можно пробовать на разном железе.
Ограничения
Это результаты самих авторов из короткого анонса. Тест проведён на одной модели и одной конфигурации — восемь H20-3e с TP8/EP1. На других картах, другой параллелизации или других чекпойнтах цифры могут отличаться. В анонсе нет данных о влиянии FP8-активаций на качество ответов, поэтому перед продакшеном стоит прогнать свои оценочные наборы. Сравнение с Marlin приведено только для префилла, а не для декодирования.
Подробности опубликовали команды Venus и SCT в полном посте. Разумный план для инженеров: взять типичную нагрузку, прогнать её на SGLang с Marlin и с Humming, сравнить время до первого токена и токены в секунду, а затем отдельно проверить качество при FP8-активациях.
- 21 нояб. 2026 г.Агент Skein стирает старые этапы из контекста: 97% удачных запусков, но дороже OpenCode
- 21 нояб. 2026 г.Открытая Inkling 2 Mini на 16 ГБ памяти догнала Qwen3.8-27B в независимом рейтинге
- 21 нояб. 2026 г.Программист перестал быть диспетчером ИИ-агентов: рутину передач взял Multica
- 21 нояб. 2026 г.MLCommons начал мерить ИИ-API под реальной нагрузкой: 7 замеров для агентов
Вопросы и ответы по материалу
Что известно по теме: что такое Humming и как она устроена?
Humming — набор низкоразрядных ядер (маленьких программ для GPU), которые компилируются «на лету» (JIT) под конкретную задачу. Они работают и для плотных слоёв, и для MoE-слоёв на видеокартах NVIDIA от поколения Turing до Blackwell. Это не оптимизация под одну свежую карту, а инструмент для разных парков железа. Самый интересный путь описан для Hopper. Веса экспертов остаются упакованными в 4 бита.
Что известно по теме: какие цифры получились?
Замеры сделаны на DeepSeek-V4.1-Flash-1017 на восьми GPU H20-3e с конфигурацией TP8/EP1. В анонсе два сравнения. Первое — Humming против Marlin. На обоих бэкендах использовались веса MXFP4 и BF16-активации экспертов. Humming ускорил префилл в 1,07–1,23 раза, то есть на 7–23%, на промптах длиной от 4K до 1016K. Метрика — время до первого токена. Для сервисов, где пользователь отправляет большие документы или репозитории, именно она определяет ощущение скорости. Второе — сравнение внутри Humming.
Что известно по теме: что это значит на практике?
Если вы поднимаете MoE-модели на собственных GPU: Marlin не обязан быть выбором по умолчанию. На длинных промптах Humming выиграл 7–23% по времени до первого токена. Формат активаций тоже важен. Переход с BF16 на FP8 для экспертов даёт прирост скорости вывода, а значит снижает стоимость токена на тех же машинах. Поддержка карт от Turing до Blackwell упрощает жизнь тем, у кого смешанный парк: одни и те же ядра можно пробовать на разном железе.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.