Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAPI / Producto · Listo para usarX: @lmsysorg→ original

SGLang acelera la selección entre 16 opciones en Qwen3-8B: el 95 % de las respuestas en 20,6 ms frente a 54,1 ms

Cuando un LLM no tiene que escribir texto, sino elegir la mejor opción, la generación habitual hace trabajo innecesario. SGLang ha añadido el endpoint /v1/score y el modo MIS: el modelo lee las instrucciones comunes una sola vez y evalúa por separado cada uno de los 16 candidatos. En Qwen3-8B, el 95 % de las solicitudes (métrica p95) se completan en 20,6 ms, frente a 54,1 ms con generate. Para el ranking y la selección de acciones de un agente, la puntuación resulta más rentable que la generación.

Procesado por IA desde X: @lmsysorg; editado por Hamidun News
SGLang acelera la selección entre 16 opciones en Qwen3-8B: el 95 % de las respuestas en 20,6 ms frente a 54,1 ms
Fuente: X: @lmsysorg. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @lmsysorg ↗
Editor jefe
Dato clave #1/v1/score devuelve puntuaciones solo para las etiquetas necesarias: Yes/No o A/B/C
Dato clave #2En Qwen3-0.6B, a medida que aumenta la carga, el p95 se mantiene por debajo de ~100 ms
Dato clave #3Generate y la evaluación individual de cada candidato (SIS) dan, con la misma carga, latencias de segundos

En producción, muchas tareas siguen resolviéndose por costumbre con un modelo de chat, aunque no se necesite texto. La clasificación de consultas, el ranking de resultados de búsqueda y la elección del siguiente paso de un agente plantean siempre la misma pregunta: ¿qué opción gana? El equipo de LMSYS, que desarrolla el motor SGLang, ha publicado un blog sobre cómo servir estos «modelos de decisión» de forma más rápida y precisa. La cifra principal: en Qwen3-8B, con 16 candidatos, el 95 % de las solicitudes se completan en 20,6 ms, mientras que con la generación habitual lo hacen en 54,1 ms.

Unas palabras sobre la métrica. p95 es la latencia que no superan el 95 % de las solicitudes. No muestra el promedio, sino un caso cercano al peor, y es el criterio con el que normalmente se decide si un modelo puede usarse en un escenario interactivo.

Dónde la generación habitual desperdicia recursos

Como ejemplo, los autores usan Open-Jev. Este modelo evalúa a cada candidato con una solicitud independiente: recibe una descripción general de la tarea y un único candidato, y responde «Yes» o «No». A partir de la probabilidad de esa respuesta se obtiene una puntuación. Supongamos que hay que elegir cuál de 16 acciones ejecutará un agente: cada una necesita su propia puntuación.

Al servir este esquema mediante generación habitual aparecen dos problemas.

El primero: para obtener las probabilidades hay que pedir a generate la lista de los top-k logaritmos de probabilidad, es decir, de los tokens más probables. Si la etiqueta que necesita (por ejemplo, «Yes») no entra en esa lista, se pierde.

El segundo: las instrucciones, los ejemplos y el historial del diálogo son los mismos para todos los candidatos, pero con un esquema ingenuo el modelo los vuelve a leer para cada uno de los 16. Cuantas más opciones hay, más trabajo innecesario se hace.

Qué añadió SGLang

Primero, el endpoint /v1/score. Devuelve puntuaciones exactamente para las etiquetas que se piden: Yes/No, A/B/C u otro conjunto. El token necesario no puede quedar fuera del resultado, porque no hay que adivinar si entrará en el top.

Segundo, el modo multi-item scoring (MIS). El contexto común se calcula una sola vez y cada candidato se evalúa de forma aislada: las opciones no ven a las demás ni influyen en sus puntuaciones. Esto es importante: si los candidatos pudieran «mirarse» entre sí, el orden de la lista podría distorsionar el resultado.

Una analogía: se lee el enunciado del concurso al jurado una sola vez y después se muestran los trabajos uno tras otro. No hace falta repetir el enunciado antes de cada trabajo, y los participantes no se afectan entre sí.

Las cifras de los benchmarks

Según LMSYS, la latencia de MIS apenas crece al aumentar el número de candidatos de 2 a 16. En Qwen3-8B, el p95 con 16 candidatos bajó de 54,1 ms con Generate a 20,6 ms con MIS, unas 2,6 veces menos.

Bajo carga, la diferencia es más notable. En Qwen3-0.6B, el p95 en modo MIS se mantiene por debajo de unos 100 ms al aumentar el número de solicitudes. En Generate y en SIS (cuando cada candidato se evalúa con una solicitud separada), la latencia sube hasta segundos. Para un agente que elige una acción dentro de un bucle, la diferencia entre 20 ms y varios segundos separa un producto vivo de uno que se atasca.

Qué hacer en la práctica

Si construye ranking, filtrado, enrutamiento de consultas o selección de acciones de agentes con LLM, revise si todo pasa por generate. Cuando la decisión se reduce a elegir etiquetas, la puntuación ofrece un resultado más fiable y una latencia más predecible.

También hay límites. Las cifras proceden de los propios autores del motor, con dos modelos Qwen3 (0,6B y 8B) y su propia carga de trabajo. En su hardware, con su longitud de contexto y su número de candidatos, el resultado puede ser distinto. La mejora cabe esperarla donde el contexto común es largo y hay muchos candidatos, justo el recálculo que elimina MIS. Si el contexto es corto y solo hay dos opciones, el efecto será más modesto.

Los benchmarks y los comandos de ejecución están publicados en el blog de LMSYS. A los equipos que ya trabajan con SGLang les conviene tomar una tarea de ranking actual, pasarla a /v1/score y comparar el p95 con el enfoque anterior.

Historia

Preguntas frecuentes sobre la noticia

Dónde la generación habitual desperdicia recursos?

Como ejemplo, los autores usan Open-Jev. Este modelo evalúa a cada candidato con una solicitud independiente: recibe una descripción general de la tarea y un único candidato, y responde «Yes» o «No». A partir de la probabilidad de esa respuesta se obtiene una puntuación. Supongamos que hay que elegir cuál de 16 acciones ejecutará un agente: cada una necesita su propia puntuación. Al servir este esquema mediante generación habitual aparecen dos problemas.

¿Qué se sabe sobre Qué añadió SGLang?

Primero, el endpoint /v1/score. Devuelve puntuaciones exactamente para las etiquetas que se piden: Yes/No, A/B/C u otro conjunto. El token necesario no puede quedar fuera del resultado, porque no hay que adivinar si entrará en el top. Segundo, el modo multi-item scoring (MIS). El contexto común se calcula una sola vez y cada candidato se evalúa de forma aislada: las opciones no ven a las demás ni influyen en sus puntuaciones.

¿Qué se sabe sobre Las cifras de los benchmarks?

Según LMSYS, la latencia de MIS apenas crece al aumentar el número de candidatos de 2 a 16. En Qwen3-8B, el p95 con 16 candidatos bajó de 54,1 ms con Generate a 20,6 ms con MIS, unas 2,6 veces menos. Bajo carga, la diferencia es más notable. En Qwen3-0.6B, el p95 en modo MIS se mantiene por debajo de unos 100 ms al aumentar el número de solicitudes. En Generate y en SIS (cuando cada candidato se evalúa con una solicitud separada), la latencia sube hasta segundos.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…