Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAPI / Producto · Listo para usarAWS Machine Learning Blog→ original

Amazon lanza SGLang-Neuron: gpt-oss-120b se ejecuta en chips Trainium sin cambiar la API

Amazon ha publicado SGLang-Neuron, un plugin que ejecuta el servidor SGLang para modelos de lenguaje en chips AWS Trainium en lugar de tarjetas gráficas de Nvidia. Las peticiones llegan a la misma API de siempre, y por debajo funciona PyTorch estándar. En el ejemplo de AWS, en una máquina con Trainium3 se ejecuta gpt-oss-120b, el modelo abierto de OpenAI de 120 000 millones de parámetros. Si ya usa SGLang, la prueba piloto se reduce a cambiar el contenedor, pero el precio y la velocidad tendrá que medirlos usted mismo.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Amazon lanza SGLang-Neuron: gpt-oss-120b se ejecuta en chips Trainium sin cambiar la API
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1El plugin vive fuera del núcleo de SGLang y se actualiza de forma independiente.
Dato clave #2Prefill y decode pueden repartirse entre servidores a través de la red EFA.
Dato clave #3AWS no ha publicado la versión del contenedor, que es v0.1.0, ni mediciones de velocidad o precio.

Si ejecuta modelos de lenguaje en producción, conoce el problema habitual: todo el stack está escrito para tarjetas gráficas de Nvidia, y cualquier otro chip obliga a reescribir media infraestructura. Amazon intenta resolver este problema para sus propios aceleradores. La compañía anunció que SGLang-Neuron ya está disponible de forma general.

SGLang es un servidor abierto y muy popular que recibe las peticiones y devuelve las respuestas de los modelos de lenguaje. Trainium es la familia de chips de IA de AWS, que Amazon promociona como una alternativa más barata a las GPU. SGLang-Neuron es el plugin que los conecta: el mismo servidor y la misma API (el formato de las peticiones al modelo), pero funcionando sobre Trainium.

En el ejemplo de AWS, este chip ejecuta gpt-oss-120b, el modelo abierto de OpenAI de 120 000 millones de parámetros.

El plugin lo ha publicado el equipo de RadixArk junto con Annapurna Labs, y puede obtenerse a través de AWS Deep Learning Container, es decir, una imagen lista con el software necesario.

Cómo funciona por dentro

SGLang-Neuron es un plugin ubicado fuera del repositorio principal de SGLang (out-of-tree). Tras la instalación, registra la plataforma neuron mediante los puntos de entrada de plugins, y dicha plataforma se selecciona con la variable de entorno SGLANG_PLATFORM=neuron al arrancar el servidor. El núcleo de SGLang sigue encargándose del servidor de API, del ciclo de vida de cada petición, de RadixAttention y de la gestión de la caché de prefijos. Todo lo específico de Trainium (modelos, atención, mixture of experts (MoE) y graph runner) lo asume el plugin.

Esta arquitectura tiene una ventaja práctica: el soporte de Trainium y el núcleo de SGLang pueden desarrollarse por separado, así que ambas partes se actualizan con más rapidez. El núcleo no tiene que esperar al hardware, y el equipo de hardware no depende de los lanzamientos del núcleo.

A nivel de ejecución, TorchNeuron registra Trainium como un dispositivo PyTorch normal. El camino principal de ejecución del modelo usa operaciones estándar de PyTorch, y para ganar velocidad se han añadido kernels escritos en Neuron Kernel Interface (NKI). Todo ello se compila mediante torch.compile en programas ejecutables, que el graph runner prepara y lanza durante la atención de peticiones.

También hay soporte para PD disaggregation, es decir, la separación del trabajo entre servidores. Un servidor (prefill) procesa el prompt y calcula la caché KV, y después la transfiere a un segundo servidor (decode) a través de NIXL sobre Elastic Fabric Adapter (EFA). Este segundo servidor termina de generar los tokens restantes. Una analogía cotidiana: una cocina en la que un cocinero prepara los ingredientes y otro monta el plato; cada uno se ocupa de su etapa y la cola avanza con más fluidez. Ambos servidores siguen usando el planificador de SGLang, mientras que el plugin gestiona la ejecución en Trainium y la transferencia de la caché.

Cómo ponerlo en marcha

La documentación de AWS muestra un camino corto. Hace falta una instancia Amazon EC2 con Trainium3 y el contenedor pytorch-inference-sglang-neuron. Después, tres pasos:

  • arrancar el contenedor con docker run usando los flags --privileged e --ipc=host;
  • levantar el servidor con el comando sglang.launch_server;
  • enviar una petición estándar de chat completions con curl.

El ejemplo utiliza openai/gpt-oss-120b con tensor parallelism 8 y expert parallelism 8, es decir, el modelo se reparte entre ocho dispositivos. La caché KV se almacena en formato fp8_e4m3, la longitud de contexto es de 10 240 tokens, se procesan hasta 64 peticiones simultáneas y el límite total es de 655 360 tokens. Se trata de una configuración de demostración, no de una recomendación para su carga de trabajo: los parámetros habrá que ajustarlos a su caso concreto.

Lo que queda fuera del anuncio

La limitación principal es que el anuncio no incluye ni una sola medición. AWS no aporta velocidad de generación, latencias ni coste por token frente a GPU. La frase sobre la «sólida economía» de Trainium sigue siendo una afirmación de marketing hasta que usted la compruebe por su cuenta. El contenedor está en la versión v0.1.0, es decir, es una versión temprana, y la lista de modelos compatibles y de configuraciones verificadas hay que consultarla en el repositorio del proyecto. Decir que cualquier modelo funcionará «de serie» es prematuro.

La conclusión práctica para los equipos es la siguiente. Si ya sirve modelos con SGLang y paga instancias con GPU, conviene reservar un pequeño piloto: tomar su carga típica, ejecutarla en Trainium3 y comparar el precio por millón de tokens y las latencias. La barrera de entrada es baja, porque la API no cambia y no hay que reescribir el código cliente. Si, en cambio, depende de modelos poco habituales o de kernels personalizados para CUDA, primero revise la lista de configuraciones compatibles.

Para el mercado, esto es un paso más hacia un escenario en el que la inferencia deja de estar atada a un solo fabricante de chips. Cuanto menos esfuerzo cueste migrar, mayor será la presión sobre los precios. Pero lo que decidirá el asunto no serán los anuncios, sino los benchmarks independientes con cargas de trabajo reales.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona por dentro?

SGLang-Neuron es un plugin ubicado fuera del repositorio principal de SGLang (out-of-tree). Tras la instalación, registra la plataforma neuron mediante los puntos de entrada de plugins, y dicha plataforma se selecciona con la variable de entorno SGLANG_PLATFORM=neuron al arrancar el servidor. El núcleo de SGLang sigue encargándose del servidor de API, del ciclo de vida de cada petición, de RadixAttention y de la gestión de la caché de prefijos.

Cómo ponerlo en marcha?

La documentación de AWS muestra un camino corto. Hace falta una instancia Amazon EC2 con Trainium3 y el contenedor pytorch-inference-sglang-neuron. Después, tres pasos: arrancar el contenedor con docker run usando los flags --privileged e --ipc=host; levantar el servidor con el comando sglang.launch_server; enviar una petición estándar de chat completions con curl. El ejemplo utiliza openai/gpt-oss-120b con tensor parallelism 8 y expert parallelism 8, es decir, el modelo se reparte entre ocho dispositivos.

¿Qué se sabe sobre Lo que queda fuera del anuncio?

La limitación principal es que el anuncio no incluye ni una sola medición. AWS no aporta velocidad de generación, latencias ni coste por token frente a GPU. La frase sobre la «sólida economía» de Trainium sigue siendo una afirmación de marketing hasta que usted la compruebe por su cuenta. El contenedor está en la versión v0.1.0, es decir, es una versión temprana, y la lista de modelos compatibles y de configuraciones verificadas hay que consultarla en el repositorio del proyecto.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…