Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Amazon открыла SGLang-Neuron: gpt-oss-120b запускается на чипах Trainium без смены API

Amazon открыла SGLang-Neuron — плагин, который запускает сервер SGLang для языковых моделей на чипах AWS Trainium вместо видеокарт Nvidia. Запросы идут в тот же API, что и раньше, а под капотом работает обычный PyTorch. В примере AWS на машине с Trainium3 крутится gpt-oss-120b — открытая модель OpenAI на 120 млрд параметров. Если вы уже на SGLang, пилот сводится к смене контейнера, но цену и скорость придётся мерить самим.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Amazon открыла SGLang-Neuron: gpt-oss-120b запускается на чипах Trainium без смены API
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Плагин живёт вне ядра SGLang и обновляется независимо
Ключевой факт #2Prefill и decode можно разнести по серверам через сеть EFA
Ключевой факт #3Версия контейнера v0.1.0, замеров скорости и цены AWS не дала

Если вы запускаете языковые модели в продакшене, то знаете типичную боль: весь стек написан под видеокарты Nvidia, и любой другой чип означает переписывание половины инфраструктуры. Amazon пытается снять эту проблему для собственных ускорителей. Компания объявила, что SGLang-Neuron стал общедоступным. SGLang — популярный открытый сервер, который принимает запросы и раздаёт ответы языковых моделей. Trainium — семейство ИИ-чипов AWS, которое Amazon продвигает как более дешёвую альтернативу GPU. SGLang-Neuron — плагин, соединяющий их: тот же сервер и тот же API (формат запросов к модели), но работает он на Trainium. В примере AWS на таком чипе запускается gpt-oss-120b — открытая модель OpenAI на 120 миллиардов параметров.

Плагин выпустила команда RadixArk совместно с Annapurna Labs, а получить его можно через AWS Deep Learning Container, то есть готовый образ с нужным софтом.

Как это устроено внутри

SGLang-Neuron — плагин вне основного репозитория SGLang (out-of-tree). После установки он регистрирует платформу neuron через точки входа плагинов, а выбирается она переменной окружения SGLANG_PLATFORM=neuron при старте сервера. Ядро SGLang по-прежнему отвечает за API-сервер, жизненный цикл запроса, RadixAttention и учёт префиксного кэша. Всё, что специфично для Trainium, — модели, внимание, mixture of experts (MoE) и graph runner, — берёт на себя плагин.

Такая схема даёт практическую выгоду: поддержку Trainium и ядро SGLang можно развивать независимо, поэтому обе части обновляются быстрее. Ядру не нужно ждать железа, а команде железа — релизов ядра.

На уровне исполнения TorchNeuron регистрирует Trainium как обычное устройство PyTorch. Для основного пути выполнения модели используются стандартные операции PyTorch, а для скорости добавлены ядра, написанные на Neuron Kernel Interface (NKI). Всё это через torch.compile собирается в исполняемые программы, которые graph runner готовит и запускает во время обслуживания запросов.

Есть и поддержка PD disaggregation — разделения работы между серверами. Один сервер (prefill) обрабатывает промпт и считает KV-кэш, затем передаёт его второму серверу (decode) через NIXL по Elastic Fabric Adapter (EFA). Второй досчитывает оставшиеся токены. Аналогия из жизни — кухня, где один повар готовит заготовки, а другой собирает блюдо: каждый занят своим этапом, и очередь двигается ровнее. Оба сервера остаются на планировщике SGLang, а плагин управляет исполнением на Trainium и передачей кэша.

Как запустить

В документации AWS показан короткий путь. Нужен инстанс Amazon EC2 с Trainium3 и контейнер pytorch-inference-sglang-neuron. Дальше три шага:

  • запустить контейнер через docker run с флагами --privileged и --ipc=host;
  • поднять сервер командой sglang.launch_server;
  • отправить обычный chat completions запрос через curl.

В примере используется openai/gpt-oss-120b с tensor parallelism 8 и expert parallelism 8, то есть модель раскладывается на восемь устройств. KV-кэш хранится в формате fp8_e4m3, длина контекста — 10 240 токенов, одновременно обрабатывается до 64 запросов, общий лимит — 655 360 токенов. Это демонстрационная конфигурация, а не рекомендация для вашей нагрузки: параметры придётся подбирать под свою задачу.

Что остаётся за кадром

Главное ограничение — в анонсе нет ни одного замера. AWS не приводит ни скорости генерации, ни задержек, ни стоимости токена в сравнении с GPU. Фраза про «сильную экономику» Trainium остаётся маркетинговым утверждением, пока вы не проверите её сами. Контейнер имеет версию v0.1.0, то есть это ранний релиз, а список поддерживаемых моделей и проверенных конфигураций нужно смотреть в репозитории проекта. Заявлять, что любая модель поедет «из коробки», рано.

Практический вывод для команд. Если вы уже раздаёте модели через SGLang и платите за GPU-инстансы, стоит выделить небольшой пилот: взять свою типичную нагрузку, прогнать на Trainium3 и сравнить цену за миллион токенов и задержки. Порог входа низкий, потому что API не меняется и клиентский код переписывать не нужно. Если же вы зависите от экзотических моделей или кастомных ядер под CUDA, сначала проверьте список поддерживаемых конфигураций.

Для рынка это ещё один шаг к тому, что инференс перестаёт быть привязан к одному производителю чипов. Чем меньше усилий нужно для переезда, тем сильнее давление на цены. Но решать будут не анонсы, а независимые бенчмарки на реальных нагрузках.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это устроено внутри?

SGLang-Neuron — плагин вне основного репозитория SGLang (out-of-tree). После установки он регистрирует платформу neuron через точки входа плагинов, а выбирается она переменной окружения SGLANG_PLATFORM=neuron при старте сервера. Ядро SGLang по-прежнему отвечает за API-сервер, жизненный цикл запроса, RadixAttention и учёт префиксного кэша. Всё, что специфично для Trainium, — модели, внимание, mixture of experts (MoE) и graph runner, — берёт на себя плагин.

Что известно по теме: как запустить?

В документации AWS показан короткий путь. Нужен инстанс Amazon EC2 с Trainium3 и контейнер pytorch-inference-sglang-neuron. Дальше три шага: запустить контейнер через docker run с флагами --privileged и --ipc=host; поднять сервер командой sglang.launch_server; отправить обычный chat completions запрос через curl. В примере используется openai/gpt-oss-120b с tensor parallelism 8 и expert parallelism 8, то есть модель раскладывается на восемь устройств.

Что известно по теме: что остаётся за кадром?

Главное ограничение — в анонсе нет ни одного замера. AWS не приводит ни скорости генерации, ни задержек, ни стоимости токена в сравнении с GPU. Фраза про «сильную экономику» Trainium остаётся маркетинговым утверждением, пока вы не проверите её сами. Контейнер имеет версию v0.1.0, то есть это ранний релиз, а список поддерживаемых моделей и проверенных конфигураций нужно смотреть в репозитории проекта. Заявлять, что любая модель поедет «из коробки», рано. Практический вывод для команд.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…