NVIDIA dévoile SPEED-Bench, un benchmark unique pour le décodage spéculatif

NVIDIA a présenté sur Hugging Face SPEED-Bench, un nouveau benchmark pour le speculative decoding, une technique d'accélération de l'inférence des grands modèles de langage. Son objectif : mesurer non pas les pics de performance en laboratoire, mais le comportement des modèles et des moteurs d'inférence sur des tâches plus proches de l'exploitation réelle.

Comment SPEED-Bench est conçu

Les auteurs partent d'un problème simple : les tests existants sont fragmentés. Certains évaluent la qualité du modèle draft sur des échantillons trop petits, d'autres mesurent le throughput avec des prompts courts et un batch size de 1, d'autres encore dépendent d'un stack précis qui reflète mal la production. Résultat, il est difficile de comparer les méthodes de speculative decoding entre elles : un même algorithme peut briller sur un jeu de données jouet et nettement moins bien se comporter sur des contextes longs ou sous forte concurrence de requêtes.

SPEED-Bench se divise en deux parties et s'accompagne d'un cadre de mesure unique. Le split qualitative compte 880 prompts issus de 18 sources publiques, répartis en 11 catégories, du coding et des math au roleplay, au RAG, à la summarization et au multilingual. Chaque catégorie comprend 80 exemples, choisis pour réduire la redondance sémantique et couvrir le plus grand nombre de scénarios possible. Pour la sélection, les auteurs ont calculé des embeddings des candidats avec le modèle text-embedding-3-small et minimisé la similarité moyenne par paires au sein de chaque catégorie.

• Le split qualitative mesure l'acceptance rate et l'acceptance length selon les domaines
• Le split throughput teste la vitesse sur des séquences d'entrée de 1k à 32k tokens
• Pour chaque longueur, trois niveaux de difficulté : low-, mixed- et high-entropy
• Un bucket contient 1 536 prompts, ce qui permet de tracer des courbes de throughput stables avec un batch size allant jusqu'à 512
• Le cadre fonctionne avec TensorRT-LLM, vLLM et SGLang

La comparaison équitable des moteurs est traitée à part. Les différents systèmes d'inférence appliquent chacun à leur façon les chat templates, les tokens BOS et la tokenisation, si bien qu'un même modèle peut recevoir des entrées légèrement différentes. Dans SPEED-Bench, la préparation du prompt est sortie des moteurs : ils reçoivent des séquences déjà tokenisées. Cela réduit l'influence des écarts annexes et permet de comparer les algorithmes de speculative decoding eux-mêmes, et non les effets de bord du prétraitement. Le cadre relève aussi une télémétrie détaillée de la step latency, du user TPS et de l'output throughput global.

Ce que les tests ont montré

Les premiers résultats montrent que le speculative decoding dépend fortement du type de tâche. Dans les domaines à faible entropie, comme le coding et les math, l'acceptance length est plus élevée : le drafter devine plus facilement les tokens suivants. Sur les tâches plus ouvertes, comme le roleplay et le writing, les valeurs sont plus basses.

Dans les exemples de l'article, les MTP heads natives de Qwen3-Next donnent une acceptance length moyenne de 2,81, EAGLE3 sur GPT-OSS 120B 2,25, et N-Gram sur Llama 3.3 70B 1,41. De plus, à batch size 32, N-Gram tombe même à un ralentissement moyen pouvant atteindre 0,88x au lieu d'accélérer.

Un autre enseignement concerne les optimisations agressives. Les auteurs examinent à part le vocabulary pruning dans EAGLE3, une technique qui réduit le coût de la projection finale. Sur le coding et les math, son effet est presque imperceptible, mais sur la longue traîne des requêtes d'utilisateurs, surtout en multilingual, RAG et summarization, l'acceptance length chute davantage. Autrement dit, une optimisation d'apparence anodine sur un jeu de données étroit peut dégrader le comportement réel sur un éventail de tâches plus large.

L'observation la plus concrète porte sur les charges synthétiques. Dans l'industrie, il reste courant de lancer l'inférence sur des tokens aléatoires, mais pour le speculative decoding, ce mode fausse le tableau. Le modèle reconnaît le bruit, répond de façon stéréotypée et augmente artificiellement l'acceptance length. Dans les mesures de SPEED-Bench, cela gonfle le throughput d'environ 23 % par rapport à des charges réalistes. Pour les équipes, c'est un signal direct : les benchmarks synthétiques peuvent conduire à un mauvais choix de draft length, voire de tout le schéma d'accélération.

Ce que cela signifie

SPEED-Bench tente de rapprocher l'évaluation du speculative decoding de ce qui compte vraiment pour les équipes qui servent des LLM en production : contextes longs, batch sizes élevés, domaines variés et conditions comparables d'un moteur à l'autre. Si le benchmark s'impose, la discussion sur l'accélération des LLM pourrait passer des beaux chiffres obtenus sur des tests synthétiques à des données reproductibles montrant où l'accélération fonctionne précisément, et où elle ne fonctionne pas. Pour les équipes infra et recherche, c'est plus utile qu'un énième record sur un jeu de données bien choisi.