SGLang com kernels Humming acelerou o primeiro token em 7–23% e a geração em 17–34%
Os pesos de modelos MoE como o DeepSeek são armazenados em 4 bits para caber na memória de vídeo, mas antes da multiplicação eles precisam ser descompactados. Os kernels Humming no SGLang fazem isso diretamente nos registradores da GPU. Em 8 placas H20-3e, o primeiro token chega 7–23% mais rápido que com Marlin, e usar FP8 em vez de BF16 acrescenta 17–34% de velocidade de geração. Antes de escolher um backend, compare os dois com a sua própria carga de trabalho.
Processado por IA de X: @lmsysorg; editado por Hamidun News
Modelos grandes com arquitetura MoE (Mixture of Experts, "mistura de especialistas"), como o DeepSeek, são caros para executar: ocupam muita memória de vídeo, e a cada requisição só uma parte dos "especialistas" trabalha. Para que caibam na memória, os pesos são armazenados em 4 bits. Mas, antes da multiplicação, esses pesos precisam ser convertidos de volta para um formato que a placa de vídeo entenda, e se os kernels fizerem isso de forma ineficiente, todo o ganho desaparece.
A equipe LMSYS, que desenvolve o motor SGLang para executar LLMs, apresentou sua solução: a biblioteca Humming. Segundo as medições deles, em prompts longos ela reduz o tempo até o primeiro token (ou seja, a latência antes do início da resposta, a fase de "prefill") em 7–23% em relação ao Marlin, um backend popular para pesos de baixa precisão. E, se o cálculo dos especialistas for feito em FP8 em vez de BF16, a velocidade de saída sobe 17–34%.
O que é o Humming e como ele funciona
O Humming é um conjunto de kernels de baixa precisão (pequenos programas para GPU) que são compilados "na hora" (JIT) para cada tarefa específica. Eles funcionam tanto nas camadas densas quanto nas camadas MoE, em placas NVIDIA desde a geração Turing até a Blackwell. Não se trata de uma otimização para uma única placa recente, e sim de uma ferramenta para diferentes parques de hardware.
O caminho mais interessante descrito é o da Hopper. Os pesos dos especialistas continuam compactados em 4 bits. Só no último momento, diretamente nos registradores (a memória mais rápida do chip), os operandos são reconstruídos em FP8, logo antes da multiplicação no Tensor Core. Uma analogia: em vez de descarregar um caminhão inteiro no depósito, o entregador abre a caixa na porta do cliente. Não se gasta memória com os pesos "descompactados", e os dados não ficam sendo transferidos de um lado para o outro sem necessidade.
As camadas densas, por sua vez, permanecem no caminho nativo em FP8: o Humming não mexe nelas.
Que números foram obtidos
As medições foram feitas com o DeepSeek-V4.1-Flash-1017 em oito GPUs H20-3e, na configuração TP8/EP1. O anúncio traz duas comparações.
A primeira é Humming contra Marlin. Nos dois backends foram usados pesos MXFP4 e ativações dos especialistas em BF16. O Humming acelerou o prefill em 1,07–1,23 vez, ou seja, 7–23%, em prompts com comprimento entre 4K e 1016K. A métrica é o tempo até o primeiro token. Para serviços em que o usuário envia documentos grandes ou repositórios inteiros, ela é o que define a sensação de velocidade.
A segunda é a comparação dentro do próprio Humming. No mesmo checkpoint, trocar as ativações dos especialistas de BF16 para FP8 aumentou a vazão de saída em 17–34% com 1, 32 e 64 requisições paralelas. O ganho aparece tanto com requisições isoladas quanto sob carga, então não se trata de um efeito restrito a lotes grandes.
O que isso significa na prática
Se você executa modelos MoE em GPUs próprias:
- O Marlin não precisa ser a escolha padrão. Em prompts longos, o Humming ganhou 7–23% no tempo até o primeiro token.
- O formato das ativações também importa. Passar de BF16 para FP8 nos especialistas aumenta a velocidade de geração e, portanto, reduz o custo por token nas mesmas máquinas.
- O suporte de Turing a Blackwell simplifica a vida de quem tem parque misto: os mesmos kernels podem ser testados em hardware diferente.
Limitações
Estes são resultados dos próprios autores, em um anúncio curto. O teste foi feito com um único modelo e uma única configuração: oito H20-3e com TP8/EP1. Em outras placas, com outra paralelização ou outros checkpoints, os números podem ser diferentes. O anúncio não traz dados sobre o impacto das ativações em FP8 na qualidade das respostas, por isso vale rodar os seus próprios conjuntos de avaliação antes de levar para produção. A comparação com o Marlin foi feita apenas para o prefill, não para a decodificação.
Os detalhes foram publicados pelas equipes Venus e SCT no post completo. Um plano razoável para engenheiros: pegar uma carga típica, rodá-la no SGLang com Marlin e com Humming, comparar o tempo até o primeiro token e os tokens por segundo e, depois, verificar separadamente a qualidade com ativações em FP8.
- 22 de nov. de 2026Grant do Yandex foi para um motor de LLM: modelo de 35B na RTX 2080 Ti é três vezes mais rápido que o llama.cpp
- 22 de nov. de 2026Dois juízes de IA em teste jurídico com 15 LLMs mostraram viés a favor dos seus: desvio de 0,04 ponto em 1
- 22 de nov. de 2026Agentes escrevem código funcional em 95% das tarefas, mas deixam uma vulnerabilidade na maioria delas
- 21 de nov. de 2026GigaChat — 7º no ranking cego em russo, mas 78 pontos Elo atrás do líder
Perguntas frequentes sobre a notícia
O que é o Humming e como ele funciona?
O Humming é um conjunto de kernels de baixa precisão (pequenos programas para GPU) que são compilados "na hora" (JIT) para cada tarefa específica. Eles funcionam tanto nas camadas densas quanto nas camadas MoE, em placas NVIDIA desde a geração Turing até a Blackwell. Não se trata de uma otimização para uma única placa recente, e sim de uma ferramenta para diferentes parques de hardware. O caminho mais interessante descrito é o da Hopper. Os pesos dos especialistas continuam compactados em 4 bits.
O que se sabe sobre Que números foram obtidos?
As medições foram feitas com o DeepSeek-V4.1-Flash-1017 em oito GPUs H20-3e, na configuração TP8/EP1. O anúncio traz duas comparações. A primeira é Humming contra Marlin. Nos dois backends foram usados pesos MXFP4 e ativações dos especialistas em BF16. O Humming acelerou o prefill em 1,07–1,23 vez, ou seja, 7–23%, em prompts com comprimento entre 4K e 1016K. A métrica é o tempo até o primeiro token.
O que isso significa na prática?
Se você executa modelos MoE em GPUs próprias: O Marlin não precisa ser a escolha padrão. Em prompts longos, o Humming ganhou 7–23% no tempo até o primeiro token. O formato das ativações também importa. Passar de BF16 para FP8 nos especialistas aumenta a velocidade de geração e, portanto, reduz o custo por token nas mesmas máquinas. O suporte de Turing a Blackwell simplifica a vida de quem tem parque misto: os mesmos kernels podem ser testados em hardware diferente.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.