SGLang incorpora soporte para gpt-oss-120b en GPU Hopper y Blackwell

Cuando OpenAI publica un modelo abierto, la primera pregunta de los ingenieros no gira en torno a la calidad de sus respuestas. Es otra: en qué hardware se puede ejecutar y cuánto costará un millón de tokens. Hasta que un modelo cuenta con soporte adecuado en un motor de inferencia, sigue siendo una frase atractiva en una nota de prensa. Por eso, la noticia de LMSYS Org puede parecer modesta, pero es importante para quienes trabajan con estas herramientas: SGLang ya admite gpt-oss-120b en GPU de Nvidia de las generaciones Hopper y Blackwell.

Qué se ha anunciado

El equipo de LMSYS, que desarrolla SGLang, anunció soporte para gpt-oss-120b en dos arquitecturas a la vez: Hopper (H100, H200) y Blackwell (la familia B200). En el trabajo participaron Eigen AI Labs, Nvidia, los propios desarrolladores de SGLang y la comunidad de código abierto. La publicación también señala que el soporte llegó pocos días después del lanzamiento del modelo, pero el número exacto aparece truncado en el texto disponible, por lo que no damos una cifra.

Este es el contexto. gpt-oss-120b utiliza una arquitectura Mixture of Experts: solo una pequeña parte de los parámetros se activa para cada token. Según OpenAI, tiene unos 117 mil millones de parámetros en total, de los cuales alrededor de 5 mil millones están activos. Los pesos se publicaron bajo la licencia Apache 2.0 y están cuantizados en formato MXFP4, lo que permite alojar el modelo en una sola GPU de 80 GB. Estos modelos son especialmente sensibles a la calidad del motor: tanto la velocidad como el coste dependen de cómo distribuye los expertos y utiliza los kernels de baja precisión.

Por qué importa en la práctica

Imagina una situación habitual. Estás creando un asistente interno para desarrolladores o un agente que consulta documentación y llama a herramientas. Prefieres no enviar código ni datos internos a una API externa. Tienes GPU propias o las alquilas a un proveedor de nube. El siguiente paso es elegir con qué servir el modelo: vLLM, TensorRT-LLM, SGLang u otra opción.

El soporte en SGLang añade otra alternativa viable a esa lista. SGLang destaca por reutilizar eficazmente los prefijos de las solicitudes, algo especialmente útil en flujos de trabajo con agentes, donde cada solicitud repite un prompt de sistema largo y el historial de la conversación. Para gpt-oss-120b, presentado como un modelo para razonamiento y uso de herramientas, este tipo de carga es habitual.

Blackwell merece una mención aparte. El soporte de software suele llegar con retraso para el hardware nuevo, y quienes adquieren las nuevas B200 pasan meses esperando kernels optimizados. Cuando se anuncia soporte desde el principio tanto para Hopper como para Blackwell, el equipo no necesita mantener dos pilas de software distintas para las tarjetas antiguas y las nuevas.

Qué no incluye la publicación

Hay que señalar con claridad las limitaciones. El anuncio no aporta cifras: ni rendimiento en tokens por segundo, ni latencia, ni comparaciones con otros motores. Tampoco hay datos sobre cómo se comporta el modelo con contextos largos y una alta carga de solicitudes simultáneas. Es un anuncio de compatibilidad, no una prueba de rendimiento, y no basta por sí solo para decidir una migración.

Además, que algo sea "compatible" no significa que sea "óptimo". Las primeras versiones de una integración suelen funcionar correctamente, pero no siempre aprovechan al máximo el hardware. Las mejoras de velocidad llegan en versiones posteriores, por lo que conviene seguir las actualizaciones de SGLang en lugar de quedarse para siempre con la primera versión.

Qué hacer

Si ya alojas tus propios LLM, haz un pequeño experimento. Toma un flujo real de solicitudes o una grabación de ese tráfico, despliega gpt-oss-120b en SGLang y en el motor que utilizas actualmente, y compara tres aspectos: el tiempo hasta el primer token, los tokens por segundo bajo carga y el coste horario de GPU por cada mil solicitudes. Comprueba por separado las llamadas a herramientas y la salida estructurada, porque ahí es donde suelen aparecer las diferencias entre motores.

Aunque no tengas hardware propio, la noticia sigue siendo útil: cuantos más motores puedan servir un modelo abierto, mayor será la competencia entre los proveedores de inferencia y menor el precio por token. Apostar por pesos abiertos deja de ser una aventura cuando existen varias formas maduras de ejecutar el modelo.