Amazon lança o SGLang-Neuron: gpt-oss-120b roda em chips Trainium sem mudar a API
A Amazon liberou o SGLang-Neuron, um plugin que faz o servidor SGLang rodar em chips AWS Trainium em vez de placas Nvidia. As requisições seguem para a mesma API de antes, e por trás funciona o PyTorch comum. No exemplo da AWS, uma máquina com Trainium3 executa o gpt-oss-120b, o modelo aberto da OpenAI com 120 bilhões de parâmetros. Se você já usa o SGLang, o piloto se resume a trocar o contêiner, mas preço e velocidade você mesmo terá de medir.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Se você roda modelos de linguagem em produção, conhece o problema típico: toda a pilha foi escrita para placas Nvidia, e qualquer outro chip significa reescrever metade da infraestrutura. A Amazon tenta resolver isso para os seus próprios aceleradores. A empresa anunciou que o SGLang-Neuron agora está disponível ao público.
O SGLang é um servidor aberto e popular que recebe as requisições e devolve as respostas dos modelos de linguagem. Trainium é a família de chips de IA da AWS, que a Amazon apresenta como uma alternativa mais barata às GPUs. O SGLang-Neuron é o plugin que conecta os dois: o mesmo servidor e a mesma API (o formato das requisições ao modelo), mas executando no Trainium.
No exemplo da AWS, esse chip roda o gpt-oss-120b, o modelo aberto da OpenAI com 120 bilhões de parâmetros.
O plugin foi lançado pela equipe da RadixArk em conjunto com a Annapurna Labs, e pode ser obtido pelo AWS Deep Learning Container, ou seja, uma imagem pronta com o software necessário.
Como isso funciona por dentro
O SGLang-Neuron é um plugin fora do repositório principal do SGLang (out-of-tree). Depois da instalação, ele registra a plataforma neuron por meio dos pontos de entrada de plugins, e a plataforma é selecionada pela variável de ambiente SGLANG_PLATFORM=neuron na inicialização do servidor. O núcleo do SGLang continua responsável pelo servidor de API, pelo ciclo de vida da requisição, pelo RadixAttention e pelo controle do cache de prefixos. Tudo o que é específico do Trainium (modelos, atenção, mixture of experts (MoE) e o graph runner) fica a cargo do plugin.
Esse desenho traz uma vantagem prática: o suporte ao Trainium e o núcleo do SGLang podem evoluir de forma independente, então as duas partes são atualizadas com mais rapidez. O núcleo não precisa esperar pelo hardware, e a equipe de hardware não depende dos lançamentos do núcleo.
No nível de execução, o TorchNeuron registra o Trainium como um dispositivo PyTorch comum. O caminho principal de execução do modelo usa operações padrão do PyTorch, e para ganhar velocidade foram adicionados kernels escritos em Neuron Kernel Interface (NKI). Tudo isso é compilado via torch.compile em programas executáveis, que o graph runner prepara e executa durante o atendimento das requisições.
Há também suporte a PD disaggregation, a separação do trabalho entre servidores. Um servidor (prefill) processa o prompt e calcula o KV-cache, depois o transfere a um segundo servidor (decode) via NIXL, pela Elastic Fabric Adapter (EFA). O segundo termina de gerar os tokens restantes. Uma analogia do dia a dia é uma cozinha em que um cozinheiro prepara os ingredientes e outro monta o prato: cada um cuida de uma etapa, e a fila anda com mais fluidez. Os dois servidores continuam sob o escalonador do SGLang, enquanto o plugin controla a execução no Trainium e a transferência do cache.
Como rodar
A documentação da AWS mostra um caminho curto. É preciso uma instância Amazon EC2 com Trainium3 e o contêiner pytorch-inference-sglang-neuron. Depois, três passos:
- iniciar o contêiner com docker run, usando as flags --privileged e --ipc=host;
- subir o servidor com o comando sglang.launch_server;
- enviar uma requisição comum de chat completions via curl.
O exemplo usa openai/gpt-oss-120b com tensor parallelism 8 e expert parallelism 8, ou seja, o modelo é distribuído em oito dispositivos. O KV-cache fica no formato fp8_e4m3, o comprimento de contexto é de 10 240 tokens, são processadas até 64 requisições simultâneas, e o limite total é de 655 360 tokens. Trata-se de uma configuração de demonstração, não de uma recomendação para a sua carga: os parâmetros precisam ser ajustados à sua aplicação.
O que fica de fora
A principal limitação é que o anúncio não traz nenhuma medição. A AWS não apresenta velocidade de geração, latências nem custo por token em comparação com GPUs. A afirmação sobre a "economia forte" do Trainium continua sendo uma alegação de marketing até que você a verifique por conta própria. O contêiner está na versão v0.1.0, ou seja, é uma versão inicial, e a lista de modelos suportados e de configurações testadas deve ser consultada no repositório do projeto. Dizer que qualquer modelo funciona "direto da caixa" é prematuro.
A conclusão prática para as equipes: se você já serve modelos pelo SGLang e paga por instâncias com GPU, vale montar um piloto pequeno. Pegue a sua carga típica, execute no Trainium3 e compare o custo por milhão de tokens e as latências. A barreira de entrada é baixa, porque a API não muda e o código cliente não precisa ser reescrito. Já se você depende de modelos exóticos ou de kernels customizados para CUDA, verifique primeiro a lista de configurações suportadas.
Para o mercado, isso é mais um passo rumo a uma inferência que deixa de estar presa a um único fabricante de chips. Quanto menos esforço for necessário para migrar, maior a pressão sobre os preços. Mas quem vai decidir isso são os benchmarks independentes com cargas reais, não os anúncios.
- 21 de nov. de 2026AG-UI 1.0 dá aos agentes de IA uma linguagem única para falar com o aplicativo: 31 tipos de eventos
- 21 de nov. de 2026OpenAI lança o ChatGPT Wallet: agentes compram sem nunca ver o número do cartão
- 21 de nov. de 2026Anunciantes dos EUA gastaram US$ 70,7 milhões em anúncios no ChatGPT em outubro, 127% a mais que em abril
- 21 de nov. de 2026ONNX Runtime some do GitHub: Microsoft oculta repositórios após comprometimento de pacote
Perguntas frequentes sobre a notícia
Como isso funciona por dentro?
O SGLang-Neuron é um plugin fora do repositório principal do SGLang (out-of-tree). Depois da instalação, ele registra a plataforma neuron por meio dos pontos de entrada de plugins, e a plataforma é selecionada pela variável de ambiente SGLANG_PLATFORM=neuron na inicialização do servidor. O núcleo do SGLang continua responsável pelo servidor de API, pelo ciclo de vida da requisição, pelo RadixAttention e pelo controle do cache de prefixos.
Como rodar?
A documentação da AWS mostra um caminho curto. É preciso uma instância Amazon EC2 com Trainium3 e o contêiner pytorch-inference-sglang-neuron. Depois, três passos: iniciar o contêiner com docker run, usando as flags --privileged e --ipc=host; subir o servidor com o comando sglang.launch_server; enviar uma requisição comum de chat completions via curl. O exemplo usa openai/gpt-oss-120b com tensor parallelism 8 e expert parallelism 8, ou seja, o modelo é distribuído em oito dispositivos.
O que fica de fora?
A principal limitação é que o anúncio não traz nenhuma medição. A AWS não apresenta velocidade de geração, latências nem custo por token em comparação com GPUs. A afirmação sobre a "economia forte" do Trainium continua sendo uma alegação de marketing até que você a verifique por conta própria. O contêiner está na versão v0.1.0, ou seja, é uma versão inicial, e a lista de modelos suportados e de configurações testadas deve ser consultada no repositório do projeto.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.