El motor SGLang con los kernels Humming acelera el primer token un 7–23 % y la generación un 17–34 %
Los pesos de modelos MoE como DeepSeek se almacenan en 4 bits para caber en la memoria de vídeo, pero antes de multiplicarlos hay que descomprimirlos. Los kernels Humming de SGLang hacen esa descompresión directamente en los registros de la GPU. En 8 tarjetas H20-3e, el primer token llega entre un 7 % y un 23 % antes que con Marlin, y usar FP8 en lugar de BF16 añade entre un 17 % y un 34 % de velocidad de generación. Antes de elegir un backend, conviene comparar ambos con su propia carga de trabajo.
Procesado por IA desde X: @lmsysorg; editado por Hamidun News
Los modelos grandes con arquitectura MoE (Mixture of Experts, o «mezcla de expertos») como DeepSeek son caros de desplegar: ocupan mucha memoria de vídeo y, en cada petición, solo trabaja una parte de los «expertos». Para que quepan en memoria, los pesos se almacenan en 4 bits. Pero antes de multiplicarlos hay que convertirlos de nuevo a un formato que la tarjeta gráfica entienda, y si los kernels lo hacen de forma ineficiente, toda la ganancia se pierde.
El equipo de LMSYS, que desarrolla el motor SGLang para ejecutar LLM, ha presentado su solución: la biblioteca Humming. Según sus mediciones, con prompts largos reduce el tiempo hasta el primer token (es decir, la latencia antes de que empiece la respuesta, la fase de «prefill») entre un 7 % y un 23 % frente a Marlin, un backend muy usado para pesos de bajo bit. Y si para los cálculos de los expertos se elige FP8 en lugar de BF16, la velocidad de salida aumenta entre un 17 % y un 34 %.
Qué es Humming y cómo funciona
Humming es un conjunto de kernels de bajo bit (pequeños programas para GPU) que se compilan al vuelo (JIT) para cada tarea concreta. Funcionan tanto en capas densas como en capas MoE, en tarjetas NVIDIA desde la generación Turing hasta Blackwell. No es una optimización para una sola tarjeta reciente, sino una herramienta para parques de hardware diversos.
El camino más interesante está descrito para Hopper. Los pesos de los expertos siguen empaquetados en 4 bits. Solo en el último momento, directamente en los registros (la memoria más rápida del chip), se reconstruyen los operandos en FP8, justo antes de la multiplicación en el Tensor Core. La analogía sería esta: en lugar de desembalar en el almacén todo un camión de mercancía, el repartidor abre la caja en la puerta del cliente. Así no se consume memoria para los pesos «desempaquetados» y los datos no viajan de un lado a otro sin necesidad.
Las capas densas, por su parte, siguen en la ruta FP8 nativa: Humming no las modifica.
Qué cifras se obtuvieron
Las mediciones se hicieron con DeepSeek-V4.1-Flash-1017 en ocho GPU H20-3e con la configuración TP8/EP1. El anuncio incluye dos comparaciones.
La primera enfrenta Humming con Marlin. En ambos backends se usaron pesos MXFP4 y activaciones de los expertos en BF16. Humming aceleró el prefill entre 1,07 y 1,23 veces, es decir, entre un 7 % y un 23 %, con prompts de entre 4K y 1016K tokens. La métrica es el tiempo hasta el primer token. En servicios donde el usuario envía documentos o repositorios grandes, es este dato el que define la sensación de velocidad.
La segunda compara Humming consigo mismo. Con el mismo checkpoint, pasar las activaciones de los expertos de BF16 a FP8 aumentó el rendimiento de salida entre un 17 % y un 34 % con 1, 32 y 64 peticiones en paralelo. La mejora se aprecia tanto con peticiones individuales como con carga alta, así que no es un efecto exclusivo de los lotes grandes.
Qué significa en la práctica
Si despliega modelos MoE en sus propias GPU:
- Marlin no tiene por qué ser la opción por defecto. Con prompts largos, Humming ganó un 7–23 % en tiempo hasta el primer token.
- El formato de las activaciones también importa. Pasar de BF16 a FP8 para los expertos mejora la velocidad de generación y, por tanto, reduce el coste por token en las mismas máquinas.
- El soporte desde Turing hasta Blackwell facilita la vida a quien tiene parques mixtos: los mismos kernels pueden probarse en distintos equipos.
Limitaciones
Son resultados de los propios autores, extraídos de un anuncio breve. La prueba se realizó con un solo modelo y una sola configuración: ocho H20-3e con TP8/EP1. En otras tarjetas, con otra paralelización o con otros checkpoints, las cifras pueden variar. El anuncio no ofrece datos sobre el impacto de las activaciones en FP8 en la calidad de las respuestas, así que antes de llevarlo a producción conviene ejecutar sus propios conjuntos de evaluación. La comparación con Marlin se limita al prefill y no incluye la fase de decodificación.
Los detalles se publicaron en la publicación completa de los equipos Venus y SCT. Un plan razonable para los ingenieros: tomar una carga de trabajo típica, ejecutarla en SGLang con Marlin y con Humming, comparar el tiempo hasta el primer token y los tokens por segundo, y después verificar por separado la calidad con activaciones en FP8.
- 21 nov 2026El agente Skein borra las etapas antiguas del contexto: 97% de ejecuciones exitosas, pero más caro que OpenCode
- 21 nov 2026Inkling 2 Mini, abierta y de 16 GB, iguala a Qwen3.8-27B en un ranking independiente
- 21 nov 2026El programador dejó de ser despachador de agentes de IA: Multica se hace cargo de los traspasos rutinarios
- 21 nov 2026MLCommons empieza a medir las API de IA bajo carga real: 7 mediciones para agentes
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué es Humming y cómo funciona?
Humming es un conjunto de kernels de bajo bit (pequeños programas para GPU) que se compilan al vuelo (JIT) para cada tarea concreta. Funcionan tanto en capas densas como en capas MoE, en tarjetas NVIDIA desde la generación Turing hasta Blackwell. No es una optimización para una sola tarjeta reciente, sino una herramienta para parques de hardware diversos. El camino más interesante está descrito para Hopper. Los pesos de los expertos siguen empaquetados en 4 bits.
¿Qué se sabe sobre Qué cifras se obtuvieron?
Las mediciones se hicieron con DeepSeek-V4.1-Flash-1017 en ocho GPU H20-3e con la configuración TP8/EP1. El anuncio incluye dos comparaciones. La primera enfrenta Humming con Marlin. En ambos backends se usaron pesos MXFP4 y activaciones de los expertos en BF16. Humming aceleró el prefill entre 1,07 y 1,23 veces, es decir, entre un 7 % y un 23 %, con prompts de entre 4K y 1016K tokens. La métrica es el tiempo hasta el primer token.
¿Qué se sabe sobre Qué significa en la práctica?
Si despliega modelos MoE en sus propias GPU: Marlin no tiene por qué ser la opción por defecto. Con prompts largos, Humming ganó un 7–23 % en tiempo hasta el primer token. El formato de las activaciones también importa. Pasar de BF16 a FP8 para los expertos mejora la velocidad de generación y, por tanto, reduce el coste por token en las mismas máquinas. El soporte desde Turing hasta Blackwell facilita la vida a quien tiene parques mixtos: los mismos kernels pueden probarse en distintos equipos.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.