Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarX: @lmsysorg→ original

SGLang com kernels Humming acelerou o primeiro token em 7–23% e a geração em 17–34%

Os pesos de modelos MoE como o DeepSeek são armazenados em 4 bits para caber na memória de vídeo, mas antes da multiplicação eles precisam ser descompactados. Os kernels Humming no SGLang fazem isso diretamente nos registradores da GPU. Em 8 placas H20-3e, o primeiro token chega 7–23% mais rápido que com Marlin, e usar FP8 em vez de BF16 acrescenta 17–34% de velocidade de geração. Antes de escolher um backend, compare os dois com a sua própria carga de trabalho.

Processado por IA de X: @lmsysorg; editado por Hamidun News
SGLang com kernels Humming acelerou o primeiro token em 7–23% e a geração em 17–34%
Fonte: X: @lmsysorg. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @lmsysorg ↗
Editor-chefe
Dado-chave #1O Marlin não precisa ser a escolha padrão. Em prompts longos, o Humming ganhou 7–23% no tempo até o primeiro token.
Dado-chave #2O suporte de Turing a Blackwell simplifica a vida de quem tem parque misto: os mesmos kernels podem ser testados em hardware diferente.

Modelos grandes com arquitetura MoE (Mixture of Experts, "mistura de especialistas"), como o DeepSeek, são caros para executar: ocupam muita memória de vídeo, e a cada requisição só uma parte dos "especialistas" trabalha. Para que caibam na memória, os pesos são armazenados em 4 bits. Mas, antes da multiplicação, esses pesos precisam ser convertidos de volta para um formato que a placa de vídeo entenda, e se os kernels fizerem isso de forma ineficiente, todo o ganho desaparece.

A equipe LMSYS, que desenvolve o motor SGLang para executar LLMs, apresentou sua solução: a biblioteca Humming. Segundo as medições deles, em prompts longos ela reduz o tempo até o primeiro token (ou seja, a latência antes do início da resposta, a fase de "prefill") em 7–23% em relação ao Marlin, um backend popular para pesos de baixa precisão. E, se o cálculo dos especialistas for feito em FP8 em vez de BF16, a velocidade de saída sobe 17–34%.

O que é o Humming e como ele funciona

O Humming é um conjunto de kernels de baixa precisão (pequenos programas para GPU) que são compilados "na hora" (JIT) para cada tarefa específica. Eles funcionam tanto nas camadas densas quanto nas camadas MoE, em placas NVIDIA desde a geração Turing até a Blackwell. Não se trata de uma otimização para uma única placa recente, e sim de uma ferramenta para diferentes parques de hardware.

O caminho mais interessante descrito é o da Hopper. Os pesos dos especialistas continuam compactados em 4 bits. Só no último momento, diretamente nos registradores (a memória mais rápida do chip), os operandos são reconstruídos em FP8, logo antes da multiplicação no Tensor Core. Uma analogia: em vez de descarregar um caminhão inteiro no depósito, o entregador abre a caixa na porta do cliente. Não se gasta memória com os pesos "descompactados", e os dados não ficam sendo transferidos de um lado para o outro sem necessidade.

As camadas densas, por sua vez, permanecem no caminho nativo em FP8: o Humming não mexe nelas.

Que números foram obtidos

As medições foram feitas com o DeepSeek-V4.1-Flash-1017 em oito GPUs H20-3e, na configuração TP8/EP1. O anúncio traz duas comparações.

A primeira é Humming contra Marlin. Nos dois backends foram usados pesos MXFP4 e ativações dos especialistas em BF16. O Humming acelerou o prefill em 1,07–1,23 vez, ou seja, 7–23%, em prompts com comprimento entre 4K e 1016K. A métrica é o tempo até o primeiro token. Para serviços em que o usuário envia documentos grandes ou repositórios inteiros, ela é o que define a sensação de velocidade.

A segunda é a comparação dentro do próprio Humming. No mesmo checkpoint, trocar as ativações dos especialistas de BF16 para FP8 aumentou a vazão de saída em 17–34% com 1, 32 e 64 requisições paralelas. O ganho aparece tanto com requisições isoladas quanto sob carga, então não se trata de um efeito restrito a lotes grandes.

O que isso significa na prática

Se você executa modelos MoE em GPUs próprias:

  • O Marlin não precisa ser a escolha padrão. Em prompts longos, o Humming ganhou 7–23% no tempo até o primeiro token.
  • O formato das ativações também importa. Passar de BF16 para FP8 nos especialistas aumenta a velocidade de geração e, portanto, reduz o custo por token nas mesmas máquinas.
  • O suporte de Turing a Blackwell simplifica a vida de quem tem parque misto: os mesmos kernels podem ser testados em hardware diferente.

Limitações

Estes são resultados dos próprios autores, em um anúncio curto. O teste foi feito com um único modelo e uma única configuração: oito H20-3e com TP8/EP1. Em outras placas, com outra paralelização ou outros checkpoints, os números podem ser diferentes. O anúncio não traz dados sobre o impacto das ativações em FP8 na qualidade das respostas, por isso vale rodar os seus próprios conjuntos de avaliação antes de levar para produção. A comparação com o Marlin foi feita apenas para o prefill, não para a decodificação.

Os detalhes foram publicados pelas equipes Venus e SCT no post completo. Um plano razoável para engenheiros: pegar uma carga típica, rodá-la no SGLang com Marlin e com Humming, comparar o tempo até o primeiro token e os tokens por segundo e, depois, verificar separadamente a qualidade com ativações em FP8.

História

Perguntas frequentes sobre a notícia

O que é o Humming e como ele funciona?

O Humming é um conjunto de kernels de baixa precisão (pequenos programas para GPU) que são compilados "na hora" (JIT) para cada tarefa específica. Eles funcionam tanto nas camadas densas quanto nas camadas MoE, em placas NVIDIA desde a geração Turing até a Blackwell. Não se trata de uma otimização para uma única placa recente, e sim de uma ferramenta para diferentes parques de hardware. O caminho mais interessante descrito é o da Hopper. Os pesos dos especialistas continuam compactados em 4 bits.

O que se sabe sobre Que números foram obtidos?

As medições foram feitas com o DeepSeek-V4.1-Flash-1017 em oito GPUs H20-3e, na configuração TP8/EP1. O anúncio traz duas comparações. A primeira é Humming contra Marlin. Nos dois backends foram usados pesos MXFP4 e ativações dos especialistas em BF16. O Humming acelerou o prefill em 1,07–1,23 vez, ou seja, 7–23%, em prompts com comprimento entre 4K e 1016K. A métrica é o tempo até o primeiro token.

O que isso significa na prática?

Se você executa modelos MoE em GPUs próprias: O Marlin não precisa ser a escolha padrão. Em prompts longos, o Humming ganhou 7–23% no tempo até o primeiro token. O formato das ativações também importa. Passar de BF16 para FP8 nos especialistas aumenta a velocidade de geração e, portanto, reduz o custo por token nas mesmas máquinas. O suporte de Turing a Blackwell simplifica a vida de quem tem parque misto: os mesmos kernels podem ser testados em hardware diferente.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…