Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуX: @spheron→ оригинал

TensorRT-LLM обогнал vLLM на H100: 2780 против 2400 токенов/с на Llama 3.3 70B

Spheron сравнил три движка для запуска нейросетей: TensorRT-LLM, SGLang и vLLM. Представьте чат на 100 одновременных пользователей, который обслуживает одна карта H100 с моделью Llama 3.3 70B в сжатом формате FP8. TensorRT-LLM выдал 2780 токенов (кусочков текста) в секунду против 2400 у vLLM, а первое слово 95% пользователей получили за 1,28 с против 1,45 с. Выбор движка даёт запас скорости без новой карты, но проверьте его на своих промптах.

AI-обработка оригинала X: @spheron; редакция Hamidun News
TensorRT-LLM обогнал vLLM на H100: 2780 против 2400 токенов/с на Llama 3.3 70B
Источник: X: @spheron. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @spheron ↗
Главный редактор
SGLang посередине2460 токенов/с и 1,38 с до первого слова (p95)
Ключевой факт #2vLLM ждёт первое слово на 13% дольше, чем TensorRT-LLM
Ключевой факт #3Версии движков и длина запросов в посте не указаны, цифры — ориентир

Когда вы запускаете большую модель в продакшене, цена одного ответа зависит не только от видеокарты, но и от программы, которая эту карту загружает. Такая программа называется движком инференса: она решает, как собирать запросы в пачки, как хранить память и как быстро выдавать первые слова ответа. Облако GPU Spheron Network опубликовало короткий бенчмарк трёх популярных движков на одной и той же карте. Разница между ними получилась заметной.

Что именно измеряли

Условия такие: одна видеокарта Nvidia H100, модель Llama 3.3 70B в сжатом формате FP8 (числа хранятся в 8 битах вместо 16, поэтому модель занимает меньше памяти и работает быстрее) и 100 одновременных запросов. Представьте чат-сервис, в который в один момент пишут сто человек, а отвечает им одна карта.

Замеряли две вещи. Первая — пропускная способность в токенах в секунду. Токен — это кусочек текста, примерно слог или короткое слово. Чем больше токенов сервер генерирует суммарно, тем больше пользователей помещается на одну карту и тем дешевле каждый ответ. Вторая — p95 time-to-first-token: время, за которое первое слово ответа появилось у 95% запросов. Проще говоря, сколько почти любой пользователь ждёт, пока модель «начнёт печатать». От этой цифры зависит, насколько сервис кажется отзывчивым.

Результаты по каждому движку

TensorRT-LLM (движок Nvidia) оказался первым по обоим показателям: 2780 токенов/с и 1280 мс до первого токена.

SGLang занял второе место: 2460 токенов/с и 1380 мс. От лидера он отстаёт примерно на 12% по скорости генерации и на 100 мс по ожиданию первого слова.

vLLM — самый распространённый открытый движок — показал 2400 токенов/с и 1450 мс. Это последнее место, но от SGLang он отстаёт немного: около 2,5% по пропускной способности и 70 мс по задержке.

В посте сказано, что TensorRT-LLM выигрывает у vLLM «примерно на 13%». Если пересчитать, получится так: по пропускной способности TensorRT-LLM впереди примерно на 16%, а vLLM ждёт первое слово примерно на 13% дольше. Скорее всего, цифра 13% относится именно к задержке. Порядок при этом одинаковый в любом случае: TensorRT-LLM, затем SGLang, затем vLLM.

Для масштаба: если разделить 2780 токенов/с на сто запросов, на одного пользователя приходится около 28 токенов в секунду. Для чата этого хватает, но видно, что 70B-модель на одной карте работает близко к пределу.

Что с этим делать и чему не стоит верить

Если у вас стабильная высокая нагрузка и вы готовы тратить время на настройку, TensorRT-LLM может дать около 16% дополнительной пропускной способности без покупки железа. На большом парке карт это заметная экономия. Но у скорости есть цена: движок Nvidia обычно требует отдельной сборки и привязан к экосистеме производителя, а vLLM и SGLang проще запускать и обновлять. Это общее наблюдение, а не вывод из поста.

Теперь об ограничениях. Это один твит с тремя строками чисел, а не полноценный отчёт. В нём нет длины запросов и ответов, нет параметров запуска, а версии движков в доступном тексте не раскрыты. Это существенно: vLLM и SGLang обновляются быстро, и разрыв в 2–3% между ними легко меняется от релиза к релизу. Замеры публикует провайдер GPU-аренды, и повторить их независимо по этому посту пока нельзя.

Ещё одна оговорка: проверена одна конфигурация, 100 одновременных запросов на одной H100. При 10 запросах или на нескольких картах расклад может быть другим. Задержка в 1,3–1,4 секунды до первого слова не всем подойдёт, например голосовым ассистентам.

На практике возьмите эти цифры как гипотезу и прогоните свои запросы на всех трёх движках. Сравнивайте на реальной длине промптов и реальной нагрузке, фиксируйте версии. Если преимущество TensorRT-LLM сохранится, переход окупится. Если нет, проще остаться на vLLM или SGLang, которые легче сопровождать.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно измеряли?

Условия такие: одна видеокарта Nvidia H100, модель Llama 3.3 70B в сжатом формате FP8 (числа хранятся в 8 битах вместо 16, поэтому модель занимает меньше памяти и работает быстрее) и 100 одновременных запросов. Представьте чат-сервис, в который в один момент пишут сто человек, а отвечает им одна карта. Замеряли две вещи. Первая — пропускная способность в токенах в секунду. Токен — это кусочек текста, примерно слог или короткое слово.

Что известно по теме: результаты по каждому движку?

TensorRT-LLM (движок Nvidia) оказался первым по обоим показателям: 2780 токенов/с и 1280 мс до первого токена. SGLang занял второе место: 2460 токенов/с и 1380 мс. От лидера он отстаёт примерно на 12% по скорости генерации и на 100 мс по ожиданию первого слова. vLLM — самый распространённый открытый движок — показал 2400 токенов/с и 1450 мс. Это последнее место, но от SGLang он отстаёт немного: около 2,5% по пропускной способности и 70 мс по задержке.

Что известно по теме: что с этим делать и чему не стоит верить?

Если у вас стабильная высокая нагрузка и вы готовы тратить время на настройку, TensorRT-LLM может дать около 16% дополнительной пропускной способности без покупки железа. На большом парке карт это заметная экономия. Но у скорости есть цена: движок Nvidia обычно требует отдельной сборки и привязан к экосистеме производителя, а vLLM и SGLang проще запускать и обновлять. Это общее наблюдение, а не вывод из поста. Теперь об ограничениях. Это один твит с тремя строками чисел, а не полноценный отчёт.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…