Le moteur SGLang avec les noyaux Humming accélère le premier token de 7 à 23 %, la génération de 17 à 34 %
Les poids des modèles MoE comme DeepSeek sont stockés en 4 bits pour tenir dans la mémoire vidéo, mais il faut les décompresser avant chaque multiplication. Les noyaux Humming dans SGLang effectuent cette opération directement dans les registres du GPU. Sur 8 cartes H20-3e, le premier token arrive 7 à 23 % plus vite qu'avec Marlin, et le passage du BF16 au FP8 ajoute 17 à 34 % de débit de génération. Avant de choisir un backend, comparez les deux sur votre propre charge.
Traité par IA depuis X: @lmsysorg ; édité par Hamidun News
Les grands modèles à architecture MoE (Mixture of Experts, « mélange d'experts ») comme DeepSeek coûtent cher à déployer : ils occupent beaucoup de mémoire vidéo, alors que chaque requête ne sollicite qu'une partie des « experts ». Pour les faire tenir en mémoire, leurs poids sont stockés en 4 bits. Mais avant chaque multiplication, ces poids doivent être reconvertis dans un format que la carte vidéo comprend, et si les noyaux le font de manière inefficace, tout le gain disparaît.
L'équipe LMSYS, qui développe le moteur SGLang pour exécuter des LLM, a présenté sa solution : la bibliothèque Humming. D'après leurs mesures, sur de longs prompts, elle réduit le temps jusqu'au premier token (c'est-à-dire la latence avant le début de la réponse, la phase de « préremplissage ») de 7 à 23 % par rapport à Marlin, un backend populaire pour les poids de faible précision. Et si le calcul des experts se fait en FP8 au lieu du BF16, le débit de génération augmente de 17 à 34 %.
Ce qu'est Humming et comment elle fonctionne
Humming est un ensemble de noyaux basse précision (de petits programmes exécutés sur GPU) compilés à la volée (JIT) pour une tâche donnée. Ils fonctionnent aussi bien pour les couches denses que pour les couches MoE, sur les cartes NVIDIA de la génération Turing jusqu'à Blackwell. Il ne s'agit donc pas d'une optimisation pour une seule carte récente, mais d'un outil pour des parcs matériels variés.
Le chemin le plus intéressant est décrit pour Hopper. Les poids des experts restent compressés en 4 bits. Ce n'est qu'au dernier moment, directement dans les registres (la mémoire la plus rapide de la puce), que les opérandes sont reconstruits en FP8, juste avant la multiplication sur les Tensor Cores. Comparaison : au lieu de dépoter une camionnette entière dans un entrepôt, le livreur ouvre le colis à la porte du client. La mémoire n'est pas consommée par des poids « décompressés », et les données ne font pas d'allers-retours inutiles.
Les couches denses, elles, restent sur leur chemin natif FP8 : Humming ne les modifie pas.
Les chiffres obtenus
Les mesures ont été effectuées sur DeepSeek-V4.1-Flash-1017, avec huit GPU H20-3e en configuration TP8/EP1. L'annonce contient deux comparaisons.
La première oppose Humming à Marlin. Les deux backends utilisaient des poids MXFP4 et des activations d'experts en BF16. Humming a accéléré le préremplissage de 1,07 à 1,23 fois, soit de 7 à 23 %, sur des prompts allant de 4K à 1016K. La métrique est le temps jusqu'au premier token. Pour les services où les utilisateurs envoient de gros documents ou des dépôts de code, c'est elle qui détermine la sensation de rapidité.
La seconde compare Humming à lui-même. Sur le même checkpoint, le passage des activations d'experts du BF16 au FP8 a augmenté le débit de sortie de 17 à 34 % avec 1, 32 et 64 requêtes parallèles. Le gain est visible aussi bien pour une requête isolée que sous forte charge, ce n'est donc pas un effet réservé aux gros batchs.
Ce que cela change en pratique
Si vous déployez des modèles MoE sur vos propres GPU :
- Marlin ne doit pas être le choix par défaut. Sur de longs prompts, Humming a gagné 7 à 23 % sur le temps jusqu'au premier token.
- Le format des activations compte aussi. Passer du BF16 au FP8 pour les experts augmente le débit de génération, donc réduit le coût par token sur les mêmes machines.
- La prise en charge des cartes de Turing à Blackwell simplifie la vie de ceux qui disposent d'un parc hétérogène : les mêmes noyaux peuvent être testés sur différents matériels.
Limites
Ce sont les résultats des auteurs eux-mêmes, tirés d'une annonce succincte. Le test a porté sur un seul modèle et une seule configuration : huit H20-3e en TP8/EP1. Sur d'autres cartes, avec une autre parallélisation ou d'autres checkpoints, les chiffres peuvent différer. L'annonce ne donne aucune information sur l'impact des activations FP8 sur la qualité des réponses : il est donc prudent de relancer vos propres jeux d'évaluation avant toute mise en production. La comparaison avec Marlin ne porte que sur le préremplissage, et non sur le décodage.
Les détails ont été publiés par les équipes Venus et SCT dans le billet complet. Pour les ingénieurs, la démarche raisonnable consiste à prendre une charge de travail typique, à l'exécuter sur SGLang avec Marlin puis avec Humming, à comparer le temps jusqu'au premier token et les tokens par seconde, puis à vérifier séparément la qualité avec des activations FP8.
- 21 nov. 2026L'agent Skein efface les étapes passées du contexte : 97 % de réussite, mais plus cher qu'OpenCode
- 21 nov. 2026Inkling 2 Mini, ouverte et exploitable sur 16 Go de mémoire, rattrape Qwen3.8-27B dans un classement indépendant
- 21 nov. 2026Le développeur n'est plus le dispatcheur des agents IA : Multica prend en charge les passages de relais
- 21 nov. 2026MLCommons se met à mesurer les API d'IA sous charge réelle : 7 mesures pour les agents
Questions clés sur cet article
Que sait-on sur Ce qu'est Humming et comment elle fonctionne ?
Humming est un ensemble de noyaux basse précision (de petits programmes exécutés sur GPU) compilés à la volée (JIT) pour une tâche donnée. Ils fonctionnent aussi bien pour les couches denses que pour les couches MoE, sur les cartes NVIDIA de la génération Turing jusqu'à Blackwell. Il ne s'agit donc pas d'une optimisation pour une seule carte récente, mais d'un outil pour des parcs matériels variés. Le chemin le plus intéressant est décrit pour Hopper. Les poids des experts restent compressés en 4 bits.
Que sait-on sur Les chiffres obtenus ?
Les mesures ont été effectuées sur DeepSeek-V4.1-Flash-1017, avec huit GPU H20-3e en configuration TP8/EP1. L'annonce contient deux comparaisons. La première oppose Humming à Marlin. Les deux backends utilisaient des poids MXFP4 et des activations d'experts en BF16. Humming a accéléré le préremplissage de 1,07 à 1,23 fois, soit de 7 à 23 %, sur des prompts allant de 4K à 1016K. La métrique est le temps jusqu'au premier token.
Que sait-on sur Ce que cela change en pratique ?
Si vous déployez des modèles MoE sur vos propres GPU : Marlin ne doit pas être le choix par défaut. Sur de longs prompts, Humming a gagné 7 à 23 % sur le temps jusqu'au premier token. Le format des activations compte aussi. Passer du BF16 au FP8 pour les experts augmente le débit de génération, donc réduit le coût par token sur les mêmes machines.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.