Amazon publie SGLang-Neuron : gpt-oss-120b tourne sur les puces Trainium sans changer d'API
Amazon publie SGLang-Neuron, un plugin qui fait tourner le serveur SGLang pour modèles de langage sur les puces AWS Trainium au lieu des cartes graphiques Nvidia. Les requêtes passent par la même API qu'auparavant, et c'est PyTorch standard qui fait le travail en coulisses. Dans l'exemple d'AWS, un Trainium3 exécute gpt-oss-120b, le modèle ouvert de 120 milliards de paramètres d'OpenAI. Si vous utilisez déjà SGLang, un pilote se résume à changer de conteneur, mais il faudra mesurer vous-même le prix et la vitesse.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Si vous faites tourner des modèles de langage en production, vous connaissez le problème typique : toute la pile logicielle est conçue pour les cartes graphiques Nvidia, et tout autre processeur oblige à réécrire la moitié de l'infrastructure. Amazon tente de lever ce verrou pour ses propres accélérateurs. L'entreprise annonce que SGLang-Neuron est désormais disponible publiquement.
SGLang est un serveur open source populaire qui reçoit les requêtes et renvoie les réponses des modèles de langage. Trainium est une famille de puces d'IA d'AWS, qu'Amazon présente comme une alternative moins chère aux GPU. SGLang-Neuron est le plugin qui relie les deux : même serveur, même API (le format des requêtes adressées au modèle), mais l'exécution se fait sur Trainium.
Dans l'exemple d'AWS, c'est gpt-oss-120b, le modèle ouvert de 120 milliards de paramètres d'OpenAI, qui tourne sur cette puce.
Le plugin a été développé par l'équipe RadixArk en collaboration avec Annapurna Labs, et on peut l'obtenir via AWS Deep Learning Container, c'est-à-dire une image prête à l'emploi contenant les logiciels nécessaires.
Le fonctionnement interne
SGLang-Neuron est un plugin situé en dehors du dépôt principal de SGLang (out-of-tree). Après installation, il enregistre la plateforme neuron via les points d'entrée des plugins, et celle-ci est sélectionnée par la variable d'environnement SGLANG_PLATFORM=neuron au démarrage du serveur. Le cœur de SGLang reste responsable du serveur API, du cycle de vie d'une requête, de RadixAttention et de la gestion du cache de préfixes. Tout ce qui est spécifique à Trainium (modèles, attention, mixture of experts (MoE) et graph runner) est pris en charge par le plugin.
Cette architecture présente un avantage concret : la prise en charge de Trainium et le cœur de SGLang peuvent évoluer indépendamment, ce qui accélère les mises à jour des deux côtés. Le cœur n'a pas à attendre le matériel, et l'équipe matériel n'a pas à attendre les versions du cœur.
Au niveau de l'exécution, TorchNeuron enregistre Trainium comme un périphérique PyTorch ordinaire. Le chemin d'exécution principal du modèle utilise des opérations PyTorch standard, et des noyaux écrits avec Neuron Kernel Interface (NKI) ont été ajoutés pour gagner en vitesse. Le tout est compilé via torch.compile en programmes exécutables, que le graph runner prépare et lance pendant le traitement des requêtes.
Le plugin prend aussi en charge le PD disaggregation, c'est-à-dire la répartition du travail entre serveurs. Un premier serveur (prefill) traite le prompt et calcule le cache KV, puis le transmet à un second serveur (decode) via NIXL sur Elastic Fabric Adapter (EFA). Ce dernier termine la génération des tokens restants. Pour reprendre une image simple : une cuisine où un cuisinier prépare les ingrédients pendant qu'un autre dresse l'assiette. Chacun se concentre sur son étape, et la file avance plus régulièrement. Les deux serveurs restent pilotés par l'ordonnanceur de SGLang, et le plugin gère l'exécution sur Trainium ainsi que le transfert du cache.
Comment le lancer
La documentation d'AWS présente une procédure courte. Il faut une instance Amazon EC2 équipée de Trainium3 et le conteneur pytorch-inference-sglang-neuron. Ensuite, trois étapes :
- lancer le conteneur avec docker run, en utilisant les options --privileged et --ipc=host ;
- démarrer le serveur avec la commande sglang.launch_server ;
- envoyer une requête chat completions classique avec curl.
L'exemple utilise openai/gpt-oss-120b avec un tensor parallelism de 8 et un expert parallelism de 8, ce qui répartit le modèle sur huit dispositifs. Le cache KV est stocké au format fp8_e4m3, la longueur de contexte est de 10 240 tokens, jusqu'à 64 requêtes sont traitées simultanément, et la limite globale est de 655 360 tokens. Il s'agit d'une configuration de démonstration, pas d'une recommandation pour votre charge de travail : ces paramètres doivent être ajustés à votre cas d'usage.
Ce qui reste dans l'ombre
La principale limite tient à l'absence totale de mesures dans l'annonce. AWS ne fournit ni vitesse de génération, ni latence, ni coût par token comparé aux GPU. L'argument d'une « économie avantageuse » de Trainium reste un discours marketing tant que vous ne l'avez pas vérifié vous-même. Le conteneur porte la version v0.1.0, ce qui indique une version précoce, et la liste des modèles pris en charge ainsi que les configurations validées se trouvent dans le dépôt du projet. Affirmer que n'importe quel modèle fonctionnera « dès l'installation » serait prématuré.
La conclusion pratique pour les équipes : si vous servez déjà des modèles via SGLang et payez des instances GPU, prévoyez un petit pilote. Prenez votre charge de travail typique, exécutez-la sur Trainium3 et comparez le prix par million de tokens ainsi que les latences. Le seuil d'entrée est bas, car l'API ne change pas et le code client n'a pas besoin d'être réécrit. En revanche, si vous dépendez de modèles exotiques ou de noyaux CUDA personnalisés, commencez par vérifier la liste des configurations prises en charge.
Pour le marché, c'est un pas de plus vers une inférence qui n'est plus liée à un seul fabricant de puces. Plus la migration demande peu d'efforts, plus la pression sur les prix augmente. Mais ce ne seront pas les annonces qui trancheront, c'est la publication de benchmarks indépendants sur des charges réelles.
- 21 nov. 2026AG-UI 1.0 donne aux agents IA un langage commun pour dialoguer avec l'application : 31 types d'événements
- 21 nov. 2026OpenAI lance ChatGPT Wallet : des agents qui achètent sans jamais voir le numéro de carte
- 21 nov. 2026Les annonceurs américains ont dépensé 70,7 M$ en publicité sur ChatGPT en octobre, soit 127 % de plus qu'en avril
- 21 nov. 2026ONNX Runtime disparu de GitHub : Microsoft a masqué les dépôts après le piratage d'un paquet
Questions clés sur cet article
Que sait-on sur Le fonctionnement interne ?
SGLang-Neuron est un plugin situé en dehors du dépôt principal de SGLang (out-of-tree). Après installation, il enregistre la plateforme neuron via les points d'entrée des plugins, et celle-ci est sélectionnée par la variable d'environnement SGLANG_PLATFORM=neuron au démarrage du serveur. Le cœur de SGLang reste responsable du serveur API, du cycle de vie d'une requête, de RadixAttention et de la gestion du cache de préfixes.
Comment le lancer?
La documentation d'AWS présente une procédure courte. Il faut une instance Amazon EC2 équipée de Trainium3 et le conteneur pytorch-inference-sglang-neuron. Ensuite, trois étapes : lancer le conteneur avec docker run, en utilisant les options --privileged et --ipc=host ; démarrer le serveur avec la commande sglang.launch_server ; envoyer une requête chat completions classique avec curl.
Que sait-on sur Ce qui reste dans l'ombre ?
La principale limite tient à l'absence totale de mesures dans l'annonce. AWS ne fournit ni vitesse de génération, ni latence, ni coût par token comparé aux GPU. L'argument d'une « économie avantageuse » de Trainium reste un discours marketing tant que vous ne l'avez pas vérifié vous-même. Le conteneur porte la version v0.1.0, ce qui indique une version précoce, et la liste des modèles pris en charge ainsi que les configurations validées se trouvent dans le dépôt du projet.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.