Amazon lanza SGLang-Neuron: gpt-oss-120b se ejecuta en chips Trainium sin cambiar la API
Amazon ha publicado SGLang-Neuron, un plugin que ejecuta el servidor SGLang para modelos de lenguaje en chips AWS Trainium en lugar de tarjetas gráficas de Nvidia. Las peticiones llegan a la misma API de siempre, y por debajo funciona PyTorch estándar. En el ejemplo de AWS, en una máquina con Trainium3 se ejecuta gpt-oss-120b, el modelo abierto de OpenAI de 120 000 millones de parámetros. Si ya usa SGLang, la prueba piloto se reduce a cambiar el contenedor, pero el precio y la velocidad tendrá que medirlos usted mismo.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Si ejecuta modelos de lenguaje en producción, conoce el problema habitual: todo el stack está escrito para tarjetas gráficas de Nvidia, y cualquier otro chip obliga a reescribir media infraestructura. Amazon intenta resolver este problema para sus propios aceleradores. La compañía anunció que SGLang-Neuron ya está disponible de forma general.
SGLang es un servidor abierto y muy popular que recibe las peticiones y devuelve las respuestas de los modelos de lenguaje. Trainium es la familia de chips de IA de AWS, que Amazon promociona como una alternativa más barata a las GPU. SGLang-Neuron es el plugin que los conecta: el mismo servidor y la misma API (el formato de las peticiones al modelo), pero funcionando sobre Trainium.
En el ejemplo de AWS, este chip ejecuta gpt-oss-120b, el modelo abierto de OpenAI de 120 000 millones de parámetros.
El plugin lo ha publicado el equipo de RadixArk junto con Annapurna Labs, y puede obtenerse a través de AWS Deep Learning Container, es decir, una imagen lista con el software necesario.
Cómo funciona por dentro
SGLang-Neuron es un plugin ubicado fuera del repositorio principal de SGLang (out-of-tree). Tras la instalación, registra la plataforma neuron mediante los puntos de entrada de plugins, y dicha plataforma se selecciona con la variable de entorno SGLANG_PLATFORM=neuron al arrancar el servidor. El núcleo de SGLang sigue encargándose del servidor de API, del ciclo de vida de cada petición, de RadixAttention y de la gestión de la caché de prefijos. Todo lo específico de Trainium (modelos, atención, mixture of experts (MoE) y graph runner) lo asume el plugin.
Esta arquitectura tiene una ventaja práctica: el soporte de Trainium y el núcleo de SGLang pueden desarrollarse por separado, así que ambas partes se actualizan con más rapidez. El núcleo no tiene que esperar al hardware, y el equipo de hardware no depende de los lanzamientos del núcleo.
A nivel de ejecución, TorchNeuron registra Trainium como un dispositivo PyTorch normal. El camino principal de ejecución del modelo usa operaciones estándar de PyTorch, y para ganar velocidad se han añadido kernels escritos en Neuron Kernel Interface (NKI). Todo ello se compila mediante torch.compile en programas ejecutables, que el graph runner prepara y lanza durante la atención de peticiones.
También hay soporte para PD disaggregation, es decir, la separación del trabajo entre servidores. Un servidor (prefill) procesa el prompt y calcula la caché KV, y después la transfiere a un segundo servidor (decode) a través de NIXL sobre Elastic Fabric Adapter (EFA). Este segundo servidor termina de generar los tokens restantes. Una analogía cotidiana: una cocina en la que un cocinero prepara los ingredientes y otro monta el plato; cada uno se ocupa de su etapa y la cola avanza con más fluidez. Ambos servidores siguen usando el planificador de SGLang, mientras que el plugin gestiona la ejecución en Trainium y la transferencia de la caché.
Cómo ponerlo en marcha
La documentación de AWS muestra un camino corto. Hace falta una instancia Amazon EC2 con Trainium3 y el contenedor pytorch-inference-sglang-neuron. Después, tres pasos:
- arrancar el contenedor con docker run usando los flags --privileged e --ipc=host;
- levantar el servidor con el comando sglang.launch_server;
- enviar una petición estándar de chat completions con curl.
El ejemplo utiliza openai/gpt-oss-120b con tensor parallelism 8 y expert parallelism 8, es decir, el modelo se reparte entre ocho dispositivos. La caché KV se almacena en formato fp8_e4m3, la longitud de contexto es de 10 240 tokens, se procesan hasta 64 peticiones simultáneas y el límite total es de 655 360 tokens. Se trata de una configuración de demostración, no de una recomendación para su carga de trabajo: los parámetros habrá que ajustarlos a su caso concreto.
Lo que queda fuera del anuncio
La limitación principal es que el anuncio no incluye ni una sola medición. AWS no aporta velocidad de generación, latencias ni coste por token frente a GPU. La frase sobre la «sólida economía» de Trainium sigue siendo una afirmación de marketing hasta que usted la compruebe por su cuenta. El contenedor está en la versión v0.1.0, es decir, es una versión temprana, y la lista de modelos compatibles y de configuraciones verificadas hay que consultarla en el repositorio del proyecto. Decir que cualquier modelo funcionará «de serie» es prematuro.
La conclusión práctica para los equipos es la siguiente. Si ya sirve modelos con SGLang y paga instancias con GPU, conviene reservar un pequeño piloto: tomar su carga típica, ejecutarla en Trainium3 y comparar el precio por millón de tokens y las latencias. La barrera de entrada es baja, porque la API no cambia y no hay que reescribir el código cliente. Si, en cambio, depende de modelos poco habituales o de kernels personalizados para CUDA, primero revise la lista de configuraciones compatibles.
Para el mercado, esto es un paso más hacia un escenario en el que la inferencia deja de estar atada a un solo fabricante de chips. Cuanto menos esfuerzo cueste migrar, mayor será la presión sobre los precios. Pero lo que decidirá el asunto no serán los anuncios, sino los benchmarks independientes con cargas de trabajo reales.
- 21 nov 2026FBI: la herramienta de IA ARTEX vulnera redes en menos de tres horas
- 21 nov 2026AG-UI 1.0 le da a los agentes de IA un lenguaje común para comunicarse con la aplicación: 31 tipos de eventos
- 21 nov 2026OpenAI lanza ChatGPT Wallet: los agentes compran sin ver el número de la tarjeta
- 21 nov 2026Los anunciantes estadounidenses gastaron 70,7 millones de dólares en publicidad en ChatGPT en octubre, un 127 % más que en abril
Preguntas frecuentes sobre la noticia
Cómo funciona por dentro?
SGLang-Neuron es un plugin ubicado fuera del repositorio principal de SGLang (out-of-tree). Tras la instalación, registra la plataforma neuron mediante los puntos de entrada de plugins, y dicha plataforma se selecciona con la variable de entorno SGLANG_PLATFORM=neuron al arrancar el servidor. El núcleo de SGLang sigue encargándose del servidor de API, del ciclo de vida de cada petición, de RadixAttention y de la gestión de la caché de prefijos.
Cómo ponerlo en marcha?
La documentación de AWS muestra un camino corto. Hace falta una instancia Amazon EC2 con Trainium3 y el contenedor pytorch-inference-sglang-neuron. Después, tres pasos: arrancar el contenedor con docker run usando los flags --privileged e --ipc=host; levantar el servidor con el comando sglang.launch_server; enviar una petición estándar de chat completions con curl. El ejemplo utiliza openai/gpt-oss-120b con tensor parallelism 8 y expert parallelism 8, es decir, el modelo se reparte entre ocho dispositivos.
¿Qué se sabe sobre Lo que queda fuera del anuncio?
La limitación principal es que el anuncio no incluye ni una sola medición. AWS no aporta velocidad de generación, latencias ni coste por token frente a GPU. La frase sobre la «sólida economía» de Trainium sigue siendo una afirmación de marketing hasta que usted la compruebe por su cuenta. El contenedor está en la versión v0.1.0, es decir, es una versión temprana, y la lista de modelos compatibles y de configuraciones verificadas hay que consultarla en el repositorio del proyecto.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.