Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoAWS Machine Learning Blog→ original

Amazon lança o SGLang-Neuron: gpt-oss-120b roda em chips Trainium sem mudar a API

A Amazon liberou o SGLang-Neuron, um plugin que faz o servidor SGLang rodar em chips AWS Trainium em vez de placas Nvidia. As requisições seguem para a mesma API de antes, e por trás funciona o PyTorch comum. No exemplo da AWS, uma máquina com Trainium3 executa o gpt-oss-120b, o modelo aberto da OpenAI com 120 bilhões de parâmetros. Se você já usa o SGLang, o piloto se resume a trocar o contêiner, mas preço e velocidade você mesmo terá de medir.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Amazon lança o SGLang-Neuron: gpt-oss-120b roda em chips Trainium sem mudar a API
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1O plugin fica fora do núcleo do SGLang e é atualizado de forma independente
Dado-chave #2Prefill e decode podem ser separados em servidores diferentes pela rede EFA
Dado-chave #3A versão do contêiner é v0.1.0; a AWS não divulgou medições de velocidade nem de preço

Se você roda modelos de linguagem em produção, conhece o problema típico: toda a pilha foi escrita para placas Nvidia, e qualquer outro chip significa reescrever metade da infraestrutura. A Amazon tenta resolver isso para os seus próprios aceleradores. A empresa anunciou que o SGLang-Neuron agora está disponível ao público.

O SGLang é um servidor aberto e popular que recebe as requisições e devolve as respostas dos modelos de linguagem. Trainium é a família de chips de IA da AWS, que a Amazon apresenta como uma alternativa mais barata às GPUs. O SGLang-Neuron é o plugin que conecta os dois: o mesmo servidor e a mesma API (o formato das requisições ao modelo), mas executando no Trainium.

No exemplo da AWS, esse chip roda o gpt-oss-120b, o modelo aberto da OpenAI com 120 bilhões de parâmetros.

O plugin foi lançado pela equipe da RadixArk em conjunto com a Annapurna Labs, e pode ser obtido pelo AWS Deep Learning Container, ou seja, uma imagem pronta com o software necessário.

Como isso funciona por dentro

O SGLang-Neuron é um plugin fora do repositório principal do SGLang (out-of-tree). Depois da instalação, ele registra a plataforma neuron por meio dos pontos de entrada de plugins, e a plataforma é selecionada pela variável de ambiente SGLANG_PLATFORM=neuron na inicialização do servidor. O núcleo do SGLang continua responsável pelo servidor de API, pelo ciclo de vida da requisição, pelo RadixAttention e pelo controle do cache de prefixos. Tudo o que é específico do Trainium (modelos, atenção, mixture of experts (MoE) e o graph runner) fica a cargo do plugin.

Esse desenho traz uma vantagem prática: o suporte ao Trainium e o núcleo do SGLang podem evoluir de forma independente, então as duas partes são atualizadas com mais rapidez. O núcleo não precisa esperar pelo hardware, e a equipe de hardware não depende dos lançamentos do núcleo.

No nível de execução, o TorchNeuron registra o Trainium como um dispositivo PyTorch comum. O caminho principal de execução do modelo usa operações padrão do PyTorch, e para ganhar velocidade foram adicionados kernels escritos em Neuron Kernel Interface (NKI). Tudo isso é compilado via torch.compile em programas executáveis, que o graph runner prepara e executa durante o atendimento das requisições.

Há também suporte a PD disaggregation, a separação do trabalho entre servidores. Um servidor (prefill) processa o prompt e calcula o KV-cache, depois o transfere a um segundo servidor (decode) via NIXL, pela Elastic Fabric Adapter (EFA). O segundo termina de gerar os tokens restantes. Uma analogia do dia a dia é uma cozinha em que um cozinheiro prepara os ingredientes e outro monta o prato: cada um cuida de uma etapa, e a fila anda com mais fluidez. Os dois servidores continuam sob o escalonador do SGLang, enquanto o plugin controla a execução no Trainium e a transferência do cache.

Como rodar

A documentação da AWS mostra um caminho curto. É preciso uma instância Amazon EC2 com Trainium3 e o contêiner pytorch-inference-sglang-neuron. Depois, três passos:

  • iniciar o contêiner com docker run, usando as flags --privileged e --ipc=host;
  • subir o servidor com o comando sglang.launch_server;
  • enviar uma requisição comum de chat completions via curl.

O exemplo usa openai/gpt-oss-120b com tensor parallelism 8 e expert parallelism 8, ou seja, o modelo é distribuído em oito dispositivos. O KV-cache fica no formato fp8_e4m3, o comprimento de contexto é de 10 240 tokens, são processadas até 64 requisições simultâneas, e o limite total é de 655 360 tokens. Trata-se de uma configuração de demonstração, não de uma recomendação para a sua carga: os parâmetros precisam ser ajustados à sua aplicação.

O que fica de fora

A principal limitação é que o anúncio não traz nenhuma medição. A AWS não apresenta velocidade de geração, latências nem custo por token em comparação com GPUs. A afirmação sobre a "economia forte" do Trainium continua sendo uma alegação de marketing até que você a verifique por conta própria. O contêiner está na versão v0.1.0, ou seja, é uma versão inicial, e a lista de modelos suportados e de configurações testadas deve ser consultada no repositório do projeto. Dizer que qualquer modelo funciona "direto da caixa" é prematuro.

A conclusão prática para as equipes: se você já serve modelos pelo SGLang e paga por instâncias com GPU, vale montar um piloto pequeno. Pegue a sua carga típica, execute no Trainium3 e compare o custo por milhão de tokens e as latências. A barreira de entrada é baixa, porque a API não muda e o código cliente não precisa ser reescrito. Já se você depende de modelos exóticos ou de kernels customizados para CUDA, verifique primeiro a lista de configurações suportadas.

Para o mercado, isso é mais um passo rumo a uma inferência que deixa de estar presa a um único fabricante de chips. Quanto menos esforço for necessário para migrar, maior a pressão sobre os preços. Mas quem vai decidir isso são os benchmarks independentes com cargas reais, não os anúncios.

História

Perguntas frequentes sobre a notícia

Como isso funciona por dentro?

O SGLang-Neuron é um plugin fora do repositório principal do SGLang (out-of-tree). Depois da instalação, ele registra a plataforma neuron por meio dos pontos de entrada de plugins, e a plataforma é selecionada pela variável de ambiente SGLANG_PLATFORM=neuron na inicialização do servidor. O núcleo do SGLang continua responsável pelo servidor de API, pelo ciclo de vida da requisição, pelo RadixAttention e pelo controle do cache de prefixos.

Como rodar?

A documentação da AWS mostra um caminho curto. É preciso uma instância Amazon EC2 com Trainium3 e o contêiner pytorch-inference-sglang-neuron. Depois, três passos: iniciar o contêiner com docker run, usando as flags --privileged e --ipc=host; subir o servidor com o comando sglang.launch_server; enviar uma requisição comum de chat completions via curl. O exemplo usa openai/gpt-oss-120b com tensor parallelism 8 e expert parallelism 8, ou seja, o modelo é distribuído em oito dispositivos.

O que fica de fora?

A principal limitação é que o anúncio não traz nenhuma medição. A AWS não apresenta velocidade de geração, latências nem custo por token em comparação com GPUs. A afirmação sobre a "economia forte" do Trainium continua sendo uma alegação de marketing até que você a verifique por conta própria. O contêiner está na versão v0.1.0, ou seja, é uma versão inicial, e a lista de modelos suportados e de configurações testadas deve ser consultada no repositório do projeto.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…