TensorRT-LLM обогнал vLLM на H100: 2780 против 2400 токенов/с на Llama 3.3 70B
Spheron сравнил три движка для запуска нейросетей: TensorRT-LLM, SGLang и vLLM. Представьте чат на 100 одновременных пользователей, который обслуживает одна карта H100 с моделью Llama 3.3 70B в сжатом формате FP8. TensorRT-LLM выдал 2780 токенов (кусочков текста) в секунду против 2400 у vLLM, а первое слово 95% пользователей получили за 1,28 с против 1,45 с. Выбор движка даёт запас скорости без новой карты, но проверьте его на своих промптах.
AI-обработка оригинала X: @spheron; редакция Hamidun News
Когда вы запускаете большую модель в продакшене, цена одного ответа зависит не только от видеокарты, но и от программы, которая эту карту загружает. Такая программа называется движком инференса: она решает, как собирать запросы в пачки, как хранить память и как быстро выдавать первые слова ответа. Облако GPU Spheron Network опубликовало короткий бенчмарк трёх популярных движков на одной и той же карте. Разница между ними получилась заметной.
Что именно измеряли
Условия такие: одна видеокарта Nvidia H100, модель Llama 3.3 70B в сжатом формате FP8 (числа хранятся в 8 битах вместо 16, поэтому модель занимает меньше памяти и работает быстрее) и 100 одновременных запросов. Представьте чат-сервис, в который в один момент пишут сто человек, а отвечает им одна карта.
Замеряли две вещи. Первая — пропускная способность в токенах в секунду. Токен — это кусочек текста, примерно слог или короткое слово. Чем больше токенов сервер генерирует суммарно, тем больше пользователей помещается на одну карту и тем дешевле каждый ответ. Вторая — p95 time-to-first-token: время, за которое первое слово ответа появилось у 95% запросов. Проще говоря, сколько почти любой пользователь ждёт, пока модель «начнёт печатать». От этой цифры зависит, насколько сервис кажется отзывчивым.
Результаты по каждому движку
TensorRT-LLM (движок Nvidia) оказался первым по обоим показателям: 2780 токенов/с и 1280 мс до первого токена.
SGLang занял второе место: 2460 токенов/с и 1380 мс. От лидера он отстаёт примерно на 12% по скорости генерации и на 100 мс по ожиданию первого слова.
vLLM — самый распространённый открытый движок — показал 2400 токенов/с и 1450 мс. Это последнее место, но от SGLang он отстаёт немного: около 2,5% по пропускной способности и 70 мс по задержке.
В посте сказано, что TensorRT-LLM выигрывает у vLLM «примерно на 13%». Если пересчитать, получится так: по пропускной способности TensorRT-LLM впереди примерно на 16%, а vLLM ждёт первое слово примерно на 13% дольше. Скорее всего, цифра 13% относится именно к задержке. Порядок при этом одинаковый в любом случае: TensorRT-LLM, затем SGLang, затем vLLM.
Для масштаба: если разделить 2780 токенов/с на сто запросов, на одного пользователя приходится около 28 токенов в секунду. Для чата этого хватает, но видно, что 70B-модель на одной карте работает близко к пределу.
Что с этим делать и чему не стоит верить
Если у вас стабильная высокая нагрузка и вы готовы тратить время на настройку, TensorRT-LLM может дать около 16% дополнительной пропускной способности без покупки железа. На большом парке карт это заметная экономия. Но у скорости есть цена: движок Nvidia обычно требует отдельной сборки и привязан к экосистеме производителя, а vLLM и SGLang проще запускать и обновлять. Это общее наблюдение, а не вывод из поста.
Теперь об ограничениях. Это один твит с тремя строками чисел, а не полноценный отчёт. В нём нет длины запросов и ответов, нет параметров запуска, а версии движков в доступном тексте не раскрыты. Это существенно: vLLM и SGLang обновляются быстро, и разрыв в 2–3% между ними легко меняется от релиза к релизу. Замеры публикует провайдер GPU-аренды, и повторить их независимо по этому посту пока нельзя.
Ещё одна оговорка: проверена одна конфигурация, 100 одновременных запросов на одной H100. При 10 запросах или на нескольких картах расклад может быть другим. Задержка в 1,3–1,4 секунды до первого слова не всем подойдёт, например голосовым ассистентам.
На практике возьмите эти цифры как гипотезу и прогоните свои запросы на всех трёх движках. Сравнивайте на реальной длине промптов и реальной нагрузке, фиксируйте версии. Если преимущество TensorRT-LLM сохранится, переход окупится. Если нет, проще остаться на vLLM или SGLang, которые легче сопровождать.
- 21 нояб. 2026 г.Открытый MiniMind позволяет обучить свою LLM с нуля за $0,42 на RTX 3090
- 21 нояб. 2026 г.Открытая Inkling 2 Mini на 16 ГБ памяти догнала Qwen3.8-27B в независимом рейтинге
- 21 нояб. 2026 г.Qwen3-0.6B дообучили на Mac mini: ошибок в ответах стало 3 из 30 вместо 9
- 21 нояб. 2026 г.Thinking Machines выпустила открытую Inkling 2 Mini на 26,4 млрд параметров для Mac с 32 ГБ
Вопросы и ответы по материалу
Что известно по теме: что именно измеряли?
Условия такие: одна видеокарта Nvidia H100, модель Llama 3.3 70B в сжатом формате FP8 (числа хранятся в 8 битах вместо 16, поэтому модель занимает меньше памяти и работает быстрее) и 100 одновременных запросов. Представьте чат-сервис, в который в один момент пишут сто человек, а отвечает им одна карта. Замеряли две вещи. Первая — пропускная способность в токенах в секунду. Токен — это кусочек текста, примерно слог или короткое слово.
Что известно по теме: результаты по каждому движку?
TensorRT-LLM (движок Nvidia) оказался первым по обоим показателям: 2780 токенов/с и 1280 мс до первого токена. SGLang занял второе место: 2460 токенов/с и 1380 мс. От лидера он отстаёт примерно на 12% по скорости генерации и на 100 мс по ожиданию первого слова. vLLM — самый распространённый открытый движок — показал 2400 токенов/с и 1450 мс. Это последнее место, но от SGLang он отстаёт немного: около 2,5% по пропускной способности и 70 мс по задержке.
Что известно по теме: что с этим делать и чему не стоит верить?
Если у вас стабильная высокая нагрузка и вы готовы тратить время на настройку, TensorRT-LLM может дать около 16% дополнительной пропускной способности без покупки железа. На большом парке карт это заметная экономия. Но у скорости есть цена: движок Nvidia обычно требует отдельной сборки и привязан к экосистеме производителя, а vLLM и SGLang проще запускать и обновлять. Это общее наблюдение, а не вывод из поста. Теперь об ограничениях. Это один твит с тремя строками чисел, а не полноценный отчёт.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.