SGLang accélère le choix parmi 16 options sur Qwen3-8B : 95 % des réponses en 20,6 ms contre 54,1 ms
Quand un LLM doit non pas rédiger un texte, mais choisir la meilleure option, la génération classique fait du travail superflu. SGLang a ajouté l'endpoint /v1/score et le mode MIS : le modèle lit les instructions communes une seule fois, puis évalue les 16 candidats séparément. Sur Qwen3-8B, 95 % des requêtes (métrique p95) tiennent en 20,6 ms contre 54,1 ms avec generate. Pour le classement et le choix d'actions d'un agent, le scoring est plus avantageux que la génération.
Traité par IA depuis X: @lmsysorg ; édité par Hamidun News
Dans la production, nous résolvons souvent par habitude via un modèle de chat des tâches qui n'exigent pas de texte. Classification des requêtes, classement des résultats de recherche, choix de l'étape suivante d'un agent : partout, la question est la même. Laquelle des options l'emporte ? L'équipe LMSYS, qui développe le moteur SGLang, a publié un billet de blog sur la manière de servir ces « modèles de décision » plus vite et plus précisément. Le chiffre principal : sur Qwen3-8B, avec 16 candidats, 95 % des requêtes tiennent en 20,6 ms, contre 54,1 ms avec la génération classique.
Un mot sur la métrique. Le p95 est le temps de réponse que 95 % des requêtes ne dépassent pas. Il ne mesure pas la moyenne, mais un cas « presque le pire », et c'est lui qu'on examine généralement pour savoir si un modèle peut être mis dans un scénario interactif.
Où la génération classique gaspille des ressources
Pour illustrer, les auteurs prennent Open-Jev. Ce modèle évalue chaque candidat par une requête distincte : on lui donne la description générale de la tâche et un seul candidat, et il répond « Yes » ou « No ». La probabilité de cette réponse fournit un score. Supposons que vous choisissiez quelle action de 16 l'agent exécutera : il faut alors un score pour chacune d'elles.
Lorsqu'on sert un tel schéma via la génération classique, deux problèmes apparaissent.
Le premier : pour obtenir les probabilités, il faut demander à generate la liste des top-k logarithmes de probabilité, c'est-à-dire quelques jetons les plus probables. Si l'étiquette qui vous intéresse (disons « Yes ») n'y figure pas, vous la perdez.
Le second : les instructions, les exemples et l'historique du dialogue sont identiques pour tous les candidats, mais avec un schéma naïf, le modèle relit tout cela pour chacun des 16. Plus il y a d'options, plus le travail superflu augmente.
Ce qui a été ajouté à SGLang
Premièrement, l'endpoint /v1/score. Il renvoie des scores exactement pour les étiquettes demandées : Yes/No, A/B/C ou tout autre ensemble. Le jeton recherché ne peut pas « disparaître » de la réponse, car vous ne devinez plus s'il entrera dans le top.
Deuxièmement, le mode multi-item scoring (MIS). Le contexte commun n'est calculé qu'une fois, et chaque candidat est évalué de façon isolée : les options ne se voient pas et n'influencent pas les scores de leurs voisines. C'est important : si les candidats pouvaient se « regarder », l'ordre de la liste pourrait fausser le résultat.
Analogie : vous lisez une fois les règles d'un concours au jury, puis lui présentez les travaux un par un. Il n'est pas nécessaire de répéter les règles avant chaque travail, et les participants ne se gênent pas mutuellement.
Les chiffres des benchmarks
Selon LMSYS, la latence du MIS n'augmente presque pas lorsque le nombre de candidats passe de 2 à 16. Sur Qwen3-8B, le p95 pour 16 candidats passe de 54,1 ms avec Generate à 20,6 ms avec MIS, soit environ 2,6 fois moins.
Sous charge, l'écart est plus net. Sur Qwen3-0.6B, le p95 en mode MIS reste sous environ 100 ms lorsque le nombre de requêtes augmente. Pour Generate et SIS (où chaque candidat est évalué par une requête distincte), la latence grimpe jusqu'à la seconde. Pour un agent qui choisit une action dans une boucle, la différence entre 20 ms et plusieurs secondes sépare un produit vivant d'un produit qui ralentit.
Que faire en pratique
Si vous construisez du classement, du filtrage, du routage de requêtes ou du choix d'actions d'agent avec un LLM, vérifiez si vous ne passez pas tout par generate. Lorsque la décision se ramène au choix d'étiquettes, le scoring offre un résultat plus fiable et une latence plus prévisible.
Il existe aussi des limites. Les chiffres proviennent des auteurs du moteur eux-mêmes, sur deux modèles Qwen3 (0,6B et 8B) et sur leur propre charge. Sur votre matériel, avec votre longueur de contexte et votre nombre de candidats, le résultat peut différer. Le gain est logiquement attendu là où le contexte commun est long et les candidats nombreux : c'est précisément ce que le recalcul unique du MIS supprime. Si le contexte est court et que les options sont au nombre de deux, l'effet sera plus modeste.
Les benchmarks et les commandes de lancement sont publiés dans le blog de LMSYS. Les équipes qui travaillent déjà sur SGLang gagneraient à prendre une tâche de classement en cours, à la basculer sur /v1/score et à comparer le p95 avec leur approche précédente.
- 21 nov. 2026Les offres FDE ont été multipliées par 4,6 en un an : ce que fait un ingénieur chez le client
- 21 nov. 2026Sakana AI crée un laboratoire appliqué pour modéliser les marchés et l'économie
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
Questions clés sur cet article
Que sait-on sur Où la génération classique gaspille des ressources ?
Pour illustrer, les auteurs prennent Open-Jev. Ce modèle évalue chaque candidat par une requête distincte : on lui donne la description générale de la tâche et un seul candidat, et il répond « Yes » ou « No ». La probabilité de cette réponse fournit un score. Supposons que vous choisissiez quelle action de 16 l'agent exécutera : il faut alors un score pour chacune d'elles. Lorsqu'on sert un tel schéma via la génération classique, deux problèmes apparaissent.
Que sait-on sur Ce qui a été ajouté à SGLang ?
Premièrement, l'endpoint /v1/score. Il renvoie des scores exactement pour les étiquettes demandées : Yes/No, A/B/C ou tout autre ensemble. Le jeton recherché ne peut pas « disparaître » de la réponse, car vous ne devinez plus s'il entrera dans le top. Deuxièmement, le mode multi-item scoring (MIS). Le contexte commun n'est calculé qu'une fois, et chaque candidat est évalué de façon isolée : les options ne se voient pas et n'influencent pas les scores de leurs voisines.
Que sait-on sur Les chiffres des benchmarks ?
Selon LMSYS, la latence du MIS n'augmente presque pas lorsque le nombre de candidats passe de 2 à 16. Sur Qwen3-8B, le p95 pour 16 candidats passe de 54,1 ms avec Generate à 20,6 ms avec MIS, soit environ 2,6 fois moins. Sous charge, l'écart est plus net. Sur Qwen3-0.6B, le p95 en mode MIS reste sous environ 100 ms lorsque le nombre de requêtes augmente. Pour Generate et SIS (où chaque candidat est évalué par une requête distincte), la latence grimpe jusqu'à la seconde.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.