Amazon открыла SGLang-Neuron: gpt-oss-120b запускается на чипах Trainium без смены API
Amazon открыла SGLang-Neuron — плагин, который запускает сервер SGLang для языковых моделей на чипах AWS Trainium вместо видеокарт Nvidia. Запросы идут в тот же API, что и раньше, а под капотом работает обычный PyTorch. В примере AWS на машине с Trainium3 крутится gpt-oss-120b — открытая модель OpenAI на 120 млрд параметров. Если вы уже на SGLang, пилот сводится к смене контейнера, но цену и скорость придётся мерить самим.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Если вы запускаете языковые модели в продакшене, то знаете типичную боль: весь стек написан под видеокарты Nvidia, и любой другой чип означает переписывание половины инфраструктуры. Amazon пытается снять эту проблему для собственных ускорителей. Компания объявила, что SGLang-Neuron стал общедоступным. SGLang — популярный открытый сервер, который принимает запросы и раздаёт ответы языковых моделей. Trainium — семейство ИИ-чипов AWS, которое Amazon продвигает как более дешёвую альтернативу GPU. SGLang-Neuron — плагин, соединяющий их: тот же сервер и тот же API (формат запросов к модели), но работает он на Trainium. В примере AWS на таком чипе запускается gpt-oss-120b — открытая модель OpenAI на 120 миллиардов параметров.
Плагин выпустила команда RadixArk совместно с Annapurna Labs, а получить его можно через AWS Deep Learning Container, то есть готовый образ с нужным софтом.
Как это устроено внутри
SGLang-Neuron — плагин вне основного репозитория SGLang (out-of-tree). После установки он регистрирует платформу neuron через точки входа плагинов, а выбирается она переменной окружения SGLANG_PLATFORM=neuron при старте сервера. Ядро SGLang по-прежнему отвечает за API-сервер, жизненный цикл запроса, RadixAttention и учёт префиксного кэша. Всё, что специфично для Trainium, — модели, внимание, mixture of experts (MoE) и graph runner, — берёт на себя плагин.
Такая схема даёт практическую выгоду: поддержку Trainium и ядро SGLang можно развивать независимо, поэтому обе части обновляются быстрее. Ядру не нужно ждать железа, а команде железа — релизов ядра.
На уровне исполнения TorchNeuron регистрирует Trainium как обычное устройство PyTorch. Для основного пути выполнения модели используются стандартные операции PyTorch, а для скорости добавлены ядра, написанные на Neuron Kernel Interface (NKI). Всё это через torch.compile собирается в исполняемые программы, которые graph runner готовит и запускает во время обслуживания запросов.
Есть и поддержка PD disaggregation — разделения работы между серверами. Один сервер (prefill) обрабатывает промпт и считает KV-кэш, затем передаёт его второму серверу (decode) через NIXL по Elastic Fabric Adapter (EFA). Второй досчитывает оставшиеся токены. Аналогия из жизни — кухня, где один повар готовит заготовки, а другой собирает блюдо: каждый занят своим этапом, и очередь двигается ровнее. Оба сервера остаются на планировщике SGLang, а плагин управляет исполнением на Trainium и передачей кэша.
Как запустить
В документации AWS показан короткий путь. Нужен инстанс Amazon EC2 с Trainium3 и контейнер pytorch-inference-sglang-neuron. Дальше три шага:
- запустить контейнер через docker run с флагами --privileged и --ipc=host;
- поднять сервер командой sglang.launch_server;
- отправить обычный chat completions запрос через curl.
В примере используется openai/gpt-oss-120b с tensor parallelism 8 и expert parallelism 8, то есть модель раскладывается на восемь устройств. KV-кэш хранится в формате fp8_e4m3, длина контекста — 10 240 токенов, одновременно обрабатывается до 64 запросов, общий лимит — 655 360 токенов. Это демонстрационная конфигурация, а не рекомендация для вашей нагрузки: параметры придётся подбирать под свою задачу.
Что остаётся за кадром
Главное ограничение — в анонсе нет ни одного замера. AWS не приводит ни скорости генерации, ни задержек, ни стоимости токена в сравнении с GPU. Фраза про «сильную экономику» Trainium остаётся маркетинговым утверждением, пока вы не проверите её сами. Контейнер имеет версию v0.1.0, то есть это ранний релиз, а список поддерживаемых моделей и проверенных конфигураций нужно смотреть в репозитории проекта. Заявлять, что любая модель поедет «из коробки», рано.
Практический вывод для команд. Если вы уже раздаёте модели через SGLang и платите за GPU-инстансы, стоит выделить небольшой пилот: взять свою типичную нагрузку, прогнать на Trainium3 и сравнить цену за миллион токенов и задержки. Порог входа низкий, потому что API не меняется и клиентский код переписывать не нужно. Если же вы зависите от экзотических моделей или кастомных ядер под CUDA, сначала проверьте список поддерживаемых конфигураций.
Для рынка это ещё один шаг к тому, что инференс перестаёт быть привязан к одному производителю чипов. Чем меньше усилий нужно для переезда, тем сильнее давление на цены. Но решать будут не анонсы, а независимые бенчмарки на реальных нагрузках.
- 21 нояб. 2026 г.AG-UI 1.0 даёт ИИ-агентам единый язык для связи с приложением: 31 тип событий
- 21 нояб. 2026 г.OpenAI запустила ChatGPT Wallet: агенты покупают, не видя номер карты
- 21 нояб. 2026 г.США вложили в рекламу ChatGPT $70,7 млн за октябрь — на 127% больше, чем в апреле
- 21 нояб. 2026 г.ONNX Runtime пропал с GitHub: Microsoft скрыла репозитории после взлома пакета
Вопросы и ответы по материалу
Что известно по теме: как это устроено внутри?
SGLang-Neuron — плагин вне основного репозитория SGLang (out-of-tree). После установки он регистрирует платформу neuron через точки входа плагинов, а выбирается она переменной окружения SGLANG_PLATFORM=neuron при старте сервера. Ядро SGLang по-прежнему отвечает за API-сервер, жизненный цикл запроса, RadixAttention и учёт префиксного кэша. Всё, что специфично для Trainium, — модели, внимание, mixture of experts (MoE) и graph runner, — берёт на себя плагин.
Что известно по теме: как запустить?
В документации AWS показан короткий путь. Нужен инстанс Amazon EC2 с Trainium3 и контейнер pytorch-inference-sglang-neuron. Дальше три шага: запустить контейнер через docker run с флагами --privileged и --ipc=host; поднять сервер командой sglang.launch_server; отправить обычный chat completions запрос через curl. В примере используется openai/gpt-oss-120b с tensor parallelism 8 и expert parallelism 8, то есть модель раскладывается на восемь устройств.
Что известно по теме: что остаётся за кадром?
Главное ограничение — в анонсе нет ни одного замера. AWS не приводит ни скорости генерации, ни задержек, ни стоимости токена в сравнении с GPU. Фраза про «сильную экономику» Trainium остаётся маркетинговым утверждением, пока вы не проверите её сами. Контейнер имеет версию v0.1.0, то есть это ранний релиз, а список поддерживаемых моделей и проверенных конфигураций нужно смотреть в репозитории проекта. Заявлять, что любая модель поедет «из коробки», рано. Практический вывод для команд.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.