SGLang ускорил выбор из 16 вариантов на Qwen3-8B: 95% ответов за 20,6 мс вместо 54,1
Когда LLM надо не писать текст, а выбрать лучший вариант, обычная генерация считает лишнее. В SGLang добавили /v1/score и режим MIS: общие инструкции модель читает один раз, а 16 кандидатов оценивает по отдельности. На Qwen3-8B 95% запросов (метрика p95) укладываются в 20,6 мс вместо 54,1 мс у generate. Для ранжирования и выбора действий агента скоринг выгоднее генерации.
AI-обработка оригинала X: @lmsysorg; редакция Hamidun News
Многие задачи в продакшене мы по привычке решаем через чат-модель, хотя текст там не нужен. Классификация обращений, ранжирование результатов поиска, выбор следующего шага агента — везде вопрос один: какой из вариантов побеждает? Команда LMSYS, которая развивает движок SGLang, опубликовала блог о том, как обслуживать такие «модели решений» быстрее и точнее. Главная цифра: на Qwen3-8B при 16 кандидатах 95% запросов укладываются в 20,6 мс, тогда как при обычной генерации — в 54,1 мс.
Пара слов о метрике. p95 — это задержка, которую не превышают 95% запросов. Она показывает не «в среднем», а «почти в худшем случае», и именно по ней обычно судят, можно ли ставить модель в интерактивный сценарий.
Где обычная генерация тратит впустую
Для примера авторы берут Open-Jev. Эта модель оценивает каждого кандидата отдельным запросом: ей дают общее описание задачи и одного кандидата, а она отвечает «Yes» или «No». Из вероятности ответа получается балл. Допустим, вы выбираете, какое из 16 действий выполнит агент: на каждое из них нужен свой балл.
При обслуживании такой схемы через обычную генерацию возникают две проблемы.
Первая: чтобы достать вероятности, приходится просить у generate список top-k логарифмов вероятностей, то есть несколько самых вероятных токенов. Если нужная вам метка (скажем, «Yes») в этот список не попала, вы её теряете.
Вторая: инструкции, примеры и история диалога одинаковы для всех кандидатов, но при наивной схеме модель перечитывает их заново для каждого из 16. Чем больше вариантов, тем больше лишней работы.
Что добавили в SGLang
Во-первых, эндпоинт /v1/score. Он возвращает баллы ровно для тех меток, которые вы запросили: Yes/No, A/B/C или другой набор. Нужный токен не может «выпасть» из выдачи, потому что вы не гадаете, попадёт ли он в топ.
Во-вторых, режим multi-item scoring (MIS). Общий контекст считается один раз, а каждый кандидат оценивается изолированно: варианты не видят друг друга и не влияют на баллы соседей. Это важно: если бы кандидаты «подглядывали» друг в друга, порядок в списке мог бы искажать результат.
Аналогия: вы зачитываете жюри условие конкурса один раз, а потом по очереди показываете работы. Не нужно повторять условие перед каждой работой, а участники друг другу не мешают.
Цифры из бенчмарков
По данным LMSYS, задержка MIS почти не растёт при увеличении числа кандидатов с 2 до 16. На Qwen3-8B p95 для 16 кандидатов снизился с 54,1 мс при Generate до 20,6 мс при MIS — примерно в 2,6 раза.
Под нагрузкой разрыв заметнее. На Qwen3-0.6B p95 в режиме MIS остаётся ниже примерно 100 мс при росте числа запросов. У Generate и SIS (когда каждый кандидат оценивается отдельным запросом) задержка вырастает до секунд. Для агента, который выбирает действие в цикле, разница между 20 мс и несколькими секундами — это разница между живым продуктом и тормозящим.
Что делать практику
Если вы строите ранжирование, фильтрацию, роутинг запросов или выбор действий агента на LLM, проверьте, не гоните ли вы всё через generate. Когда решение сводится к выбору меток, скоринг даёт более надёжный результат и более предсказуемую задержку.
Есть и ограничения. Цифры получены самими авторами движка на двух моделях Qwen3 (0,6B и 8B) и на их собственной нагрузке. На вашем железе, с вашей длиной контекста и числом кандидатов результат может отличаться. Выигрыш логично ожидать там, где общий контекст длинный, а кандидатов много: именно такой пересчёт MIS и убирает. Если контекст короткий, а вариантов два, эффект будет скромнее.
Бенчмарки и команды запуска опубликованы в блоге LMSYS. Командам, которые уже работают на SGLang, стоит взять одну текущую задачу ранжирования, переключить её на /v1/score и сравнить p95 с прежним подходом.
- 21 нояб. 2026 г.Вакансий FDE за год стало в 4,6 раза больше: что делает инженер у заказчика
- 21 нояб. 2026 г.Sakana AI открыла прикладную лабораторию для моделирования рынков и экономики
- 21 нояб. 2026 г.Meta готовит ИИ-тамагочи Muse Charm за $300 с годом 5G от Verizon
- 21 нояб. 2026 г.Dreamteam привлёк $53M на CRM, которая сама заполняется из почты и звонков
Вопросы и ответы по материалу
Что известно по теме: где обычная генерация тратит впустую?
Для примера авторы берут Open-Jev. Эта модель оценивает каждого кандидата отдельным запросом: ей дают общее описание задачи и одного кандидата, а она отвечает «Yes» или «No». Из вероятности ответа получается балл. Допустим, вы выбираете, какое из 16 действий выполнит агент: на каждое из них нужен свой балл. При обслуживании такой схемы через обычную генерацию возникают две проблемы.
Что известно по теме: что добавили в SGLang?
Во-первых, эндпоинт /v1/score. Он возвращает баллы ровно для тех меток, которые вы запросили: Yes/No, A/B/C или другой набор. Нужный токен не может «выпасть» из выдачи, потому что вы не гадаете, попадёт ли он в топ. Во-вторых, режим multi-item scoring (MIS). Общий контекст считается один раз, а каждый кандидат оценивается изолированно: варианты не видят друг друга и не влияют на баллы соседей. Это важно: если бы кандидаты «подглядывали» друг в друга, порядок в списке мог бы искажать результат.
Что известно по теме: цифры из бенчмарков?
По данным LMSYS, задержка MIS почти не растёт при увеличении числа кандидатов с 2 до 16. На Qwen3-8B p95 для 16 кандидатов снизился с 54,1 мс при Generate до 20,6 мс при MIS — примерно в 2,6 раза. Под нагрузкой разрыв заметнее. На Qwen3-0.6B p95 в режиме MIS остаётся ниже примерно 100 мс при росте числа запросов. У Generate и SIS (когда каждый кандидат оценивается отдельным запросом) задержка вырастает до секунд.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.