Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарX: @lmsysorg→ оригинал

SGLang ускорил выбор из 16 вариантов на Qwen3-8B: 95% ответов за 20,6 мс вместо 54,1

Когда LLM надо не писать текст, а выбрать лучший вариант, обычная генерация считает лишнее. В SGLang добавили /v1/score и режим MIS: общие инструкции модель читает один раз, а 16 кандидатов оценивает по отдельности. На Qwen3-8B 95% запросов (метрика p95) укладываются в 20,6 мс вместо 54,1 мс у generate. Для ранжирования и выбора действий агента скоринг выгоднее генерации.

AI-обработка оригинала X: @lmsysorg; редакция Hamidun News
SGLang ускорил выбор из 16 вариантов на Qwen3-8B: 95% ответов за 20,6 мс вместо 54,1
Источник: X: @lmsysorg. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @lmsysorg ↗
Главный редактор
Ключевой факт #1/v1/score отдаёт баллы только для нужных меток: Yes/No или A/B/C
Ключевой факт #2На Qwen3-0.6B при росте нагрузки p95 остаётся ниже ~100 мс
Ключевой факт #3Generate и оценка по одному (SIS) дают на той же нагрузке секунды

Многие задачи в продакшене мы по привычке решаем через чат-модель, хотя текст там не нужен. Классификация обращений, ранжирование результатов поиска, выбор следующего шага агента — везде вопрос один: какой из вариантов побеждает? Команда LMSYS, которая развивает движок SGLang, опубликовала блог о том, как обслуживать такие «модели решений» быстрее и точнее. Главная цифра: на Qwen3-8B при 16 кандидатах 95% запросов укладываются в 20,6 мс, тогда как при обычной генерации — в 54,1 мс.

Пара слов о метрике. p95 — это задержка, которую не превышают 95% запросов. Она показывает не «в среднем», а «почти в худшем случае», и именно по ней обычно судят, можно ли ставить модель в интерактивный сценарий.

Где обычная генерация тратит впустую

Для примера авторы берут Open-Jev. Эта модель оценивает каждого кандидата отдельным запросом: ей дают общее описание задачи и одного кандидата, а она отвечает «Yes» или «No». Из вероятности ответа получается балл. Допустим, вы выбираете, какое из 16 действий выполнит агент: на каждое из них нужен свой балл.

При обслуживании такой схемы через обычную генерацию возникают две проблемы.

Первая: чтобы достать вероятности, приходится просить у generate список top-k логарифмов вероятностей, то есть несколько самых вероятных токенов. Если нужная вам метка (скажем, «Yes») в этот список не попала, вы её теряете.

Вторая: инструкции, примеры и история диалога одинаковы для всех кандидатов, но при наивной схеме модель перечитывает их заново для каждого из 16. Чем больше вариантов, тем больше лишней работы.

Что добавили в SGLang

Во-первых, эндпоинт /v1/score. Он возвращает баллы ровно для тех меток, которые вы запросили: Yes/No, A/B/C или другой набор. Нужный токен не может «выпасть» из выдачи, потому что вы не гадаете, попадёт ли он в топ.

Во-вторых, режим multi-item scoring (MIS). Общий контекст считается один раз, а каждый кандидат оценивается изолированно: варианты не видят друг друга и не влияют на баллы соседей. Это важно: если бы кандидаты «подглядывали» друг в друга, порядок в списке мог бы искажать результат.

Аналогия: вы зачитываете жюри условие конкурса один раз, а потом по очереди показываете работы. Не нужно повторять условие перед каждой работой, а участники друг другу не мешают.

Цифры из бенчмарков

По данным LMSYS, задержка MIS почти не растёт при увеличении числа кандидатов с 2 до 16. На Qwen3-8B p95 для 16 кандидатов снизился с 54,1 мс при Generate до 20,6 мс при MIS — примерно в 2,6 раза.

Под нагрузкой разрыв заметнее. На Qwen3-0.6B p95 в режиме MIS остаётся ниже примерно 100 мс при росте числа запросов. У Generate и SIS (когда каждый кандидат оценивается отдельным запросом) задержка вырастает до секунд. Для агента, который выбирает действие в цикле, разница между 20 мс и несколькими секундами — это разница между живым продуктом и тормозящим.

Что делать практику

Если вы строите ранжирование, фильтрацию, роутинг запросов или выбор действий агента на LLM, проверьте, не гоните ли вы всё через generate. Когда решение сводится к выбору меток, скоринг даёт более надёжный результат и более предсказуемую задержку.

Есть и ограничения. Цифры получены самими авторами движка на двух моделях Qwen3 (0,6B и 8B) и на их собственной нагрузке. На вашем железе, с вашей длиной контекста и числом кандидатов результат может отличаться. Выигрыш логично ожидать там, где общий контекст длинный, а кандидатов много: именно такой пересчёт MIS и убирает. Если контекст короткий, а вариантов два, эффект будет скромнее.

Бенчмарки и команды запуска опубликованы в блоге LMSYS. Командам, которые уже работают на SGLang, стоит взять одну текущую задачу ранжирования, переключить её на /v1/score и сравнить p95 с прежним подходом.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: где обычная генерация тратит впустую?

Для примера авторы берут Open-Jev. Эта модель оценивает каждого кандидата отдельным запросом: ей дают общее описание задачи и одного кандидата, а она отвечает «Yes» или «No». Из вероятности ответа получается балл. Допустим, вы выбираете, какое из 16 действий выполнит агент: на каждое из них нужен свой балл. При обслуживании такой схемы через обычную генерацию возникают две проблемы.

Что известно по теме: что добавили в SGLang?

Во-первых, эндпоинт /v1/score. Он возвращает баллы ровно для тех меток, которые вы запросили: Yes/No, A/B/C или другой набор. Нужный токен не может «выпасть» из выдачи, потому что вы не гадаете, попадёт ли он в топ. Во-вторых, режим multi-item scoring (MIS). Общий контекст считается один раз, а каждый кандидат оценивается изолированно: варианты не видят друг друга и не влияют на баллы соседей. Это важно: если бы кандидаты «подглядывали» друг в друга, порядок в списке мог бы искажать результат.

Что известно по теме: цифры из бенчмарков?

По данным LMSYS, задержка MIS почти не растёт при увеличении числа кандидатов с 2 до 16. На Qwen3-8B p95 для 16 кандидатов снизился с 54,1 мс при Generate до 20,6 мс при MIS — примерно в 2,6 раза. Под нагрузкой разрыв заметнее. На Qwen3-0.6B p95 в режиме MIS остаётся ниже примерно 100 мс при росте числа запросов. У Generate и SIS (когда каждый кандидат оценивается отдельным запросом) задержка вырастает до секунд.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…