Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiX: @lmsysorg→ original

SGLang accélère le choix parmi 16 options sur Qwen3-8B : 95 % des réponses en 20,6 ms contre 54,1 ms

Quand un LLM doit non pas rédiger un texte, mais choisir la meilleure option, la génération classique fait du travail superflu. SGLang a ajouté l'endpoint /v1/score et le mode MIS : le modèle lit les instructions communes une seule fois, puis évalue les 16 candidats séparément. Sur Qwen3-8B, 95 % des requêtes (métrique p95) tiennent en 20,6 ms contre 54,1 ms avec generate. Pour le classement et le choix d'actions d'un agent, le scoring est plus avantageux que la génération.

Traité par IA depuis X: @lmsysorg ; édité par Hamidun News
SGLang accélère le choix parmi 16 options sur Qwen3-8B : 95 % des réponses en 20,6 ms contre 54,1 ms
Source : X: @lmsysorg. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @lmsysorg ↗
Rédacteur en chef
Chiffre clé #1/v1/score ne renvoie des scores que pour les étiquettes demandées : Yes/No ou A/B/C
Chiffre clé #2Sur Qwen3-0.6B, à charge croissante, le p95 reste sous environ 100 ms
Chiffre clé #3Generate et l'évaluation candidat par candidat (SIS) donnent, sous la même charge, des délais de l'ordre de la seconde

Dans la production, nous résolvons souvent par habitude via un modèle de chat des tâches qui n'exigent pas de texte. Classification des requêtes, classement des résultats de recherche, choix de l'étape suivante d'un agent : partout, la question est la même. Laquelle des options l'emporte ? L'équipe LMSYS, qui développe le moteur SGLang, a publié un billet de blog sur la manière de servir ces « modèles de décision » plus vite et plus précisément. Le chiffre principal : sur Qwen3-8B, avec 16 candidats, 95 % des requêtes tiennent en 20,6 ms, contre 54,1 ms avec la génération classique.

Un mot sur la métrique. Le p95 est le temps de réponse que 95 % des requêtes ne dépassent pas. Il ne mesure pas la moyenne, mais un cas « presque le pire », et c'est lui qu'on examine généralement pour savoir si un modèle peut être mis dans un scénario interactif.

Où la génération classique gaspille des ressources

Pour illustrer, les auteurs prennent Open-Jev. Ce modèle évalue chaque candidat par une requête distincte : on lui donne la description générale de la tâche et un seul candidat, et il répond « Yes » ou « No ». La probabilité de cette réponse fournit un score. Supposons que vous choisissiez quelle action de 16 l'agent exécutera : il faut alors un score pour chacune d'elles.

Lorsqu'on sert un tel schéma via la génération classique, deux problèmes apparaissent.

Le premier : pour obtenir les probabilités, il faut demander à generate la liste des top-k logarithmes de probabilité, c'est-à-dire quelques jetons les plus probables. Si l'étiquette qui vous intéresse (disons « Yes ») n'y figure pas, vous la perdez.

Le second : les instructions, les exemples et l'historique du dialogue sont identiques pour tous les candidats, mais avec un schéma naïf, le modèle relit tout cela pour chacun des 16. Plus il y a d'options, plus le travail superflu augmente.

Ce qui a été ajouté à SGLang

Premièrement, l'endpoint /v1/score. Il renvoie des scores exactement pour les étiquettes demandées : Yes/No, A/B/C ou tout autre ensemble. Le jeton recherché ne peut pas « disparaître » de la réponse, car vous ne devinez plus s'il entrera dans le top.

Deuxièmement, le mode multi-item scoring (MIS). Le contexte commun n'est calculé qu'une fois, et chaque candidat est évalué de façon isolée : les options ne se voient pas et n'influencent pas les scores de leurs voisines. C'est important : si les candidats pouvaient se « regarder », l'ordre de la liste pourrait fausser le résultat.

Analogie : vous lisez une fois les règles d'un concours au jury, puis lui présentez les travaux un par un. Il n'est pas nécessaire de répéter les règles avant chaque travail, et les participants ne se gênent pas mutuellement.

Les chiffres des benchmarks

Selon LMSYS, la latence du MIS n'augmente presque pas lorsque le nombre de candidats passe de 2 à 16. Sur Qwen3-8B, le p95 pour 16 candidats passe de 54,1 ms avec Generate à 20,6 ms avec MIS, soit environ 2,6 fois moins.

Sous charge, l'écart est plus net. Sur Qwen3-0.6B, le p95 en mode MIS reste sous environ 100 ms lorsque le nombre de requêtes augmente. Pour Generate et SIS (où chaque candidat est évalué par une requête distincte), la latence grimpe jusqu'à la seconde. Pour un agent qui choisit une action dans une boucle, la différence entre 20 ms et plusieurs secondes sépare un produit vivant d'un produit qui ralentit.

Que faire en pratique

Si vous construisez du classement, du filtrage, du routage de requêtes ou du choix d'actions d'agent avec un LLM, vérifiez si vous ne passez pas tout par generate. Lorsque la décision se ramène au choix d'étiquettes, le scoring offre un résultat plus fiable et une latence plus prévisible.

Il existe aussi des limites. Les chiffres proviennent des auteurs du moteur eux-mêmes, sur deux modèles Qwen3 (0,6B et 8B) et sur leur propre charge. Sur votre matériel, avec votre longueur de contexte et votre nombre de candidats, le résultat peut différer. Le gain est logiquement attendu là où le contexte commun est long et les candidats nombreux : c'est précisément ce que le recalcul unique du MIS supprime. Si le contexte est court et que les options sont au nombre de deux, l'effet sera plus modeste.

Les benchmarks et les commandes de lancement sont publiés dans le blog de LMSYS. Les équipes qui travaillent déjà sur SGLang gagneraient à prendre une tâche de classement en cours, à la basculer sur /v1/score et à comparer le p95 avec leur approche précédente.

Dossier

Questions clés sur cet article

Que sait-on sur Où la génération classique gaspille des ressources ?

Pour illustrer, les auteurs prennent Open-Jev. Ce modèle évalue chaque candidat par une requête distincte : on lui donne la description générale de la tâche et un seul candidat, et il répond « Yes » ou « No ». La probabilité de cette réponse fournit un score. Supposons que vous choisissiez quelle action de 16 l'agent exécutera : il faut alors un score pour chacune d'elles. Lorsqu'on sert un tel schéma via la génération classique, deux problèmes apparaissent.

Que sait-on sur Ce qui a été ajouté à SGLang ?

Premièrement, l'endpoint /v1/score. Il renvoie des scores exactement pour les étiquettes demandées : Yes/No, A/B/C ou tout autre ensemble. Le jeton recherché ne peut pas « disparaître » de la réponse, car vous ne devinez plus s'il entrera dans le top. Deuxièmement, le mode multi-item scoring (MIS). Le contexte commun n'est calculé qu'une fois, et chaque candidat est évalué de façon isolée : les options ne se voient pas et n'influencent pas les scores de leurs voisines.

Que sait-on sur Les chiffres des benchmarks ?

Selon LMSYS, la latence du MIS n'augmente presque pas lorsque le nombre de candidats passe de 2 à 16. Sur Qwen3-8B, le p95 pour 16 candidats passe de 54,1 ms avec Generate à 20,6 ms avec MIS, soit environ 2,6 fois moins. Sous charge, l'écart est plus net. Sur Qwen3-0.6B, le p95 en mode MIS reste sous environ 100 ms lorsque le nombre de requêtes augmente. Pour Generate et SIS (où chaque candidat est évalué par une requête distincte), la latence grimpe jusqu'à la seconde.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…