SGLang добавил поддержку gpt-oss-120b на видеокартах Hopper и Blackwell

Когда OpenAI выпускает открытую модель, первый вопрос у инженеров не про качество ответов. Он про другое: на чём это запускать и сколько будет стоить миллион токенов. Пока у модели нет нормальной поддержки в инференс-движке, она остаётся красивой строчкой в пресс-релизе. Поэтому новость от LMSYS Org выглядит скромно, но для практиков она важна: SGLang теперь поддерживает gpt-oss-120b на GPU Nvidia поколений Hopper и Blackwell.

Что именно объявили

Команда LMSYS, которая делает SGLang, сообщила о поддержке gpt-oss-120b сразу на двух архитектурах: Hopper (H100, H200) и Blackwell (семейство B200). В работе участвовали Eigen AI Labs, Nvidia, сами разработчики SGLang и open-source-сообщество. В посте также сказано, что поддержка появилась в течение нескольких дней после релиза модели, но конкретная цифра в доступном тексте обрезана, поэтому мы её не называем.

Контекст такой. gpt-oss-120b — это модель с архитектурой Mixture of Experts: на каждый токен включается лишь небольшая часть параметров. По данным OpenAI, всего их порядка 117 миллиардов, активных около 5 миллиардов. Веса выложены под лицензией Apache 2.0 и квантованы в формат MXFP4, поэтому модель помещается на одну 80-гигабайтную карту. Именно такие модели особенно чувствительны к качеству движка: от того, как он раскидывает экспертов и использует низкоточные ядра, зависит и скорость, и цена.

Почему это важно на практике

Представьте типичную ситуацию. Вы строите внутреннего ассистента для разработчиков или агента, который ходит по документации и вызывает инструменты. Отправлять код и внутренние данные во внешний API не хочется. Есть свои GPU или аренда у облачного провайдера. Дальше нужно выбрать, чем обслуживать модель: vLLM, TensorRT-LLM, SGLang или чем-то ещё.

Поддержка в SGLang добавляет в этот список ещё один рабочий вариант. SGLang известен тем, что хорошо переиспользует префиксы запросов, а это сильно помогает агентным сценариям, где в каждом запросе повторяется длинный системный промпт и история диалога. Для gpt-oss-120b, которую позиционируют как модель для рассуждений и работы с инструментами, такой профиль нагрузки как раз типичный.

Отдельно стоит отметить Blackwell. Новое железо часто поддерживается в софте с задержкой, и владельцы свежих B200 месяцами ждут оптимизированных ядер. Когда поддержка заявлена сразу и для Hopper, и для Blackwell, команде не нужно держать два разных стека на старых и новых картах.

Чего в посте нет

Нужно честно сказать об ограничениях. В объявлении нет цифр: ни пропускной способности в токенах в секунду, ни задержки, ни сравнения с другими движками. Нет и данных о том, как ведёт себя модель при длинном контексте и большой параллельной нагрузке. Это анонс поддержки, а не бенчмарк, и принимать решение о миграции только на его основании нельзя.

Также «поддерживается» не равно «оптимально». Первые версии интеграции обычно работают корректно, но не всегда выжимают максимум из железа. Ускорения приходят в следующих релизах, поэтому имеет смысл следить за обновлениями SGLang, а не зафиксировать первую версию навсегда.

Что делать

Если вы уже хостите LLM самостоятельно, сделайте небольшой эксперимент. Возьмите реальный поток запросов или его запись, поднимите gpt-oss-120b в SGLang и в движке, который используете сейчас, и сравните три вещи: время до первого токена, токены в секунду под нагрузкой и стоимость часа GPU на тысячу запросов. Отдельно проверьте вызов инструментов и структурированный вывод, потому что именно там чаще всего вылезают расхождения между движками.

Если своего железа нет, новость всё равно полезна: чем больше движков умеют обслуживать открытую модель, тем сильнее конкуренция между провайдерами инференса и тем ниже цена за токен. Выбор в пользу открытых весов перестаёт быть авантюрой, когда у модели есть несколько зрелых способов её запустить.