Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarX: @lmsysorg→ original

SGLang acelerou a escolha entre 16 opções no Qwen3-8B: 95% das respostas em 20,6 ms em vez de 54,1

Quando um LLM precisa não escrever texto, mas escolher a melhor opção, a geração comum faz trabalho desnecessário. O SGLang adicionou o /v1/score e o modo MIS: as instruções gerais são lidas pelo modelo uma única vez, e os 16 candidatos são avaliados separadamente. No Qwen3-8B, 95% das requisições (métrica p95) ficam em 20,6 ms, contra 54,1 ms com generate. Para ranqueamento e escolha de ações de agentes, a pontuação é mais vantajosa do que a geração.

Processado por IA de X: @lmsysorg; editado por Hamidun News
SGLang acelerou a escolha entre 16 opções no Qwen3-8B: 95% das respostas em 20,6 ms em vez de 54,1
Fonte: X: @lmsysorg. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @lmsysorg ↗
Editor-chefe
Dado-chave #1O /v1/score devolve pontuações apenas para os rótulos necessários: Yes/No ou A/B/C
Dado-chave #2No Qwen3-0.6B, com o aumento da carga, o p95 se mantém abaixo de ~100 ms
Dado-chave #3Generate e a avaliação individual de cada candidato (SIS) levam segundos sob a mesma carga

Em muitas tarefas de produção, por hábito, resolvemos tudo por meio de um modelo de chat, embora ali não precisemos de texto. Classificação de chamados, ranqueamento de resultados de busca, escolha do próximo passo de um agente: em todos esses casos a pergunta é a mesma. Qual das opções vence? A equipe da LMSYS, que desenvolve o motor SGLang, publicou um blog sobre como servir esses "modelos de decisão" de forma mais rápida e precisa. O principal número: no Qwen3-8B, com 16 candidatos, 95% das requisições ficam em 20,6 ms, enquanto com geração comum ficam em 54,1 ms.

Uma palavra sobre a métrica. O p95 é a latência que não é ultrapassada por 95% das requisições. Ele mostra não a média, mas quase o pior caso, e é com base nele que normalmente se avalia se um modelo pode ser usado em um cenário interativo.

Onde a geração comum desperdiça recursos

Como exemplo, os autores usam o Open-Jev. Esse modelo avalia cada candidato em uma requisição separada: ele recebe uma descrição geral da tarefa e um único candidato, e responde "Yes" ou "No". A partir da probabilidade da resposta, obtém-se uma pontuação. Suponha que você precise escolher qual dos 16 ações o agente executará: para cada uma delas é necessária uma pontuação própria.

Ao servir esse esquema por meio da geração comum, surgem dois problemas.

O primeiro: para obter as probabilidades, é preciso pedir ao generate a lista de top-k log-probabilidades, ou seja, os tokens mais prováveis. Se o rótulo de que você precisa (digamos, "Yes") não estiver nessa lista, você o perde.

O segundo: as instruções, os exemplos e o histórico do diálogo são os mesmos para todos os candidatos, mas, no esquema ingênuo, o modelo relê tudo para cada um dos 16. Quanto mais opções, mais trabalho desnecessário.

O que foi adicionado ao SGLang

Primeiro, o endpoint /v1/score. Ele devolve pontuações exatamente para os rótulos que você solicitou: Yes/No, A/B/C ou outro conjunto. O token necessário não pode "ficar de fora" da saída, porque você não precisa adivinhar se ele entrará no top.

Segundo, o modo multi-item scoring (MIS). O contexto comum é calculado uma única vez, e cada candidato é avaliado de forma isolada: as opções não veem umas às outras e não influenciam as pontuações dos vizinhos. Isso é importante: se os candidatos "espiassem" uns aos outros, a ordem na lista poderia distorcer o resultado.

Uma analogia: você lê as regras de um concurso para o júri uma única vez e depois apresenta os trabalhos um por um. Não é preciso repetir as regras antes de cada trabalho, e os participantes não interferem uns nos outros.

Números dos benchmarks

Segundo a LMSYS, a latência do MIS quase não cresce conforme o número de candidatos aumenta de 2 para 16. No Qwen3-8B, o p95 para 16 candidatos caiu de 54,1 ms com Generate para 20,6 ms com MIS, cerca de 2,6 vezes menos.

Sob carga, a diferença é mais evidente. No Qwen3-0.6B, o p95 no modo MIS se mantém abaixo de aproximadamente 100 ms conforme o número de requisições aumenta. Com Generate e SIS (quando cada candidato é avaliado em uma requisição separada), a latência chega a segundos. Para um agente que escolhe uma ação em um ciclo, a diferença entre 20 ms e vários segundos é a diferença entre um produto vivo e um produto que trava.

O que fazer na prática

Se você desenvolve ranqueamento, filtragem, roteamento de requisições ou escolha de ações de agentes com LLMs, verifique se você não está passando tudo pelo generate. Quando a decisão se resume a escolher rótulos, a pontuação oferece um resultado mais confiável e uma latência mais previsível.

Há também limitações. Os números foram obtidos pelos próprios autores do motor em dois modelos Qwen3 (0,6B e 8B) e com a carga deles. No seu hardware, com o seu comprimento de contexto e o seu número de candidatos, o resultado pode ser diferente. O ganho é esperado onde o contexto comum é longo e há muitos candidatos: exatamente o recálculo que o MIS elimina. Se o contexto é curto e há apenas duas opções, o efeito será mais modesto.

Os benchmarks e os comandos de execução estão publicados no blog da LMSYS. Equipes que já trabalham com SGLang devem pegar uma tarefa de ranqueamento atual, migrá-la para /v1/score e comparar o p95 com a abordagem anterior.

História

Perguntas frequentes sobre a notícia

Onde a geração comum desperdiça recursos?

Como exemplo, os autores usam o Open-Jev. Esse modelo avalia cada candidato em uma requisição separada: ele recebe uma descrição geral da tarefa e um único candidato, e responde "Yes" ou "No". A partir da probabilidade da resposta, obtém-se uma pontuação. Suponha que você precise escolher qual dos 16 ações o agente executará: para cada uma delas é necessária uma pontuação própria. Ao servir esse esquema por meio da geração comum, surgem dois problemas.

O que foi adicionado ao SGLang?

Primeiro, o endpoint /v1/score. Ele devolve pontuações exatamente para os rótulos que você solicitou: Yes/No, A/B/C ou outro conjunto. O token necessário não pode "ficar de fora" da saída, porque você não precisa adivinhar se ele entrará no top. Segundo, o modo multi-item scoring (MIS). O contexto comum é calculado uma única vez, e cada candidato é avaliado de forma isolada: as opções não veem umas às outras e não influenciam as pontuações dos vizinhos.

O que se sabe sobre Números dos benchmarks?

Segundo a LMSYS, a latência do MIS quase não cresce conforme o número de candidatos aumenta de 2 para 16. No Qwen3-8B, o p95 para 16 candidatos caiu de 54,1 ms com Generate para 20,6 ms com MIS, cerca de 2,6 vezes menos. Sob carga, a diferença é mais evidente. No Qwen3-0.6B, o p95 no modo MIS se mantém abaixo de aproximadamente 100 ms conforme o número de requisições aumenta. Com Generate e SIS (quando cada candidato é avaliado em uma requisição separada), a latência chega a segundos.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…