Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарX: @the_denv→ оригинал

Миллион токенов на одной H100 дешевеет с $18 до $0,80 при 32 запросах

Одна и та же H100 выдаёт миллион токенов (частей слов в ответе модели) то за $18, то за $0,80 — зависит от числа одновременных запросов. По замеру @the_denv, Qwen3-32B даёт 68 токенов/с одному пользователю и 1560 токенов/с на 32 вместе, в 23 раза больше. Для внутреннего чат-бота это значит: пока им пользуется один человек, карта простаивает. Считайте цену токена при реальной загрузке, а не часы аренды.

AI-обработка оригинала X: @the_denv; редакция Hamidun News
Миллион токенов на одной H100 дешевеет с $18 до $0,80 при 32 запросах
Источник: X: @the_denv. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @the_denv ↗
Главный редактор
1 пользователь68 токенов/с, около $18 за 1 млн выходных токенов
32 пользователя1560 токенов/с суммарно, около $0,80 за 1 млн
Ключевой факт #3На каждого из 32 выходит около 49 токенов/с против 68 в одиночку

Представьте, что вы поднимаете внутри компании чат-бота на открытой модели Qwen3-32B и запускаете её на одной видеокарте NVIDIA H100. Токен — это кусочек слова, из таких кусочков модель собирает ответ, и именно за миллион токенов принято считать стоимость. По замеру, которым поделился @the_denv, если к боту обращается один человек, карта выдаёт 68 токенов в секунду (tok/s), и миллион выходных токенов обходится примерно в $18. Если одновременно пишут 32 человека, карта суммарно отдаёт 1560 токенов в секунду, а миллион стоит около $0,80. Это разница в 23 раза на идентичном железе. Практический вывод: сравнивать аренду GPU по цене часа мало, нужно считать цену токена при вашей реальной загрузке.

Что именно намерили

По данным поста, при одном пользователе H100 с Qwen3-32B выдаёт около 68 токенов в секунду. При 32 одновременных пользователях суммарная скорость растёт до 1560 токенов в секунду. Рост примерно в 23 раза достигнут без смены железа.

Стоимость миллиона выходных токенов падает соответственно: с примерно $18 до примерно $0,80. Цифры согласуются между собой. Если прикинуть, из какой почасовой цены они получаются, выходит около $4,4 за час работы карты. Это наша прикидка, в посте ставка не указана, но она похожа на обычную рыночную аренду H100. Видеокарта стоит одинаково, а токенов за те же деньги выходит в 23 раза больше.

Отдельно полезно посчитать, что получает каждый пользователь. 1560 токенов в секунду на 32 человека — это примерно 49 токенов в секунду на каждого. Для одиночного запроса было 68. То есть персональная скорость просела меньше чем на треть, а общая отдача выросла в 23 раза.

Почему так получается

Объяснение простое, если представить автобус. Чтобы выдать очередной токен, GPU каждый раз заново читает из памяти все веса модели. Для модели на 32 миллиарда параметров это десятки гигабайт на каждый шаг. При одном пользователе карта почти всё время ждёт, пока данные приедут из памяти, а вычислительные блоки простаивают. Это как возить одного пассажира целым автобусом.

Когда запросов много, серверы вроде vLLM или SGLang склеивают их в один пакет (батч). Веса читаются из памяти один раз, а токен получают сразу все 32 пользователя. Автобус едет тем же маршрутом, но салон полон. Поэтому суммарная скорость растёт почти линейно, пока карта не упрётся в вычисления или в память под кэш контекста.

Что это значит на практике

Первое: цена токена у self-hosted модели не константа. Если вы считаете бюджет по замеру «один запрос в тишине», вы можете завысить расходы в десятки раз. Если считаете по пиковой загрузке, а реальный трафик редкий, наоборот, заложите слишком оптимистичную цену.

Второе: загрузка карты становится главной метрикой. Для внутренних сервисов с ровным потоком запросов собственная H100 может быть выгоднее API. Для продукта с редкими всплесками карта большую часть времени будет работать в «дорогом» режиме. Тогда часто выигрывает API с оплатой за токены или автомасштабирование с очередью.

Третье: батчить можно не только пользователей. Фоновые задачи вроде суммаризации, классификации, разметки и прогона оценок по тестовым наборам можно копить и отправлять пачками. Это самый дешёвый способ приблизиться к цифрам из верхнего режима.

Оговорки

Это одиночный пост с небольшим охватом, а не опубликованный бенчмарк. Автор не уточняет, какой движок инференса использован, в какой точности работает модель (FP16, FP8 или более агрессивное квантование), какова длина промпта и ответа, и какая задержка до первого токена. Все эти параметры сильно двигают результат. Длинные контексты занимают память под кэш, и число пользователей в батче с ними упирается в потолок раньше. Скорость в расчёте на человека тоже будет зависеть от настроек.

Поэтому цифры стоит воспринимать как порядок величины, а не как гарантию. Но направление верно и подтверждается практикой инференса: цена токена определяется загрузкой железа. Перед выбором между арендой GPU и API прогоните свою модель на своём типичном профиле запросов при 1, 8, 16 и 32 параллельных клиентах. Постройте кривую «скорость на пользователя против стоимости миллиона токенов» и выбирайте рабочую точку по ней.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно намерили?

По данным поста, при одном пользователе H100 с Qwen3-32B выдаёт около 68 токенов в секунду. При 32 одновременных пользователях суммарная скорость растёт до 1560 токенов в секунду. Рост примерно в 23 раза достигнут без смены железа. Стоимость миллиона выходных токенов падает соответственно: с примерно $18 до примерно $0,80. Цифры согласуются между собой. Если прикинуть, из какой почасовой цены они получаются, выходит около $4,4 за час работы карты.

Что известно по теме: почему так получается?

Объяснение простое, если представить автобус. Чтобы выдать очередной токен, GPU каждый раз заново читает из памяти все веса модели. Для модели на 32 миллиарда параметров это десятки гигабайт на каждый шаг. При одном пользователе карта почти всё время ждёт, пока данные приедут из памяти, а вычислительные блоки простаивают. Это как возить одного пассажира целым автобусом. Когда запросов много, серверы вроде vLLM или SGLang склеивают их в один пакет (батч).

Что известно по теме: что это значит на практике?

Первое: цена токена у self-hosted модели не константа. Если вы считаете бюджет по замеру «один запрос в тишине», вы можете завысить расходы в десятки раз. Если считаете по пиковой загрузке, а реальный трафик редкий, наоборот, заложите слишком оптимистичную цену. Второе: загрузка карты становится главной метрикой. Для внутренних сервисов с ровным потоком запросов собственная H100 может быть выгоднее API. Для продукта с редкими всплесками карта большую часть времени будет работать в «дорогом» режиме.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…