Modal выпустила калькулятор GPU: serverless выигрывает, когда пик выше скидки резерва

Modal, платформа serverless-вычислений на GPU, опубликовала интерактивную модель для сравнения двух способов закупки ускорителей: оплата по факту использования и долгосрочный резерв. Калькулятор по умолчанию считает B200 по текущим тарифам Modal и по трёхлетнему резервированию у гиперскейлеров. Главный вывод компании: при отношении пикового спроса к среднему выше 5:1 serverless выходит дешевле, несмотря на более высокую цену за GPU-час.

Статья нужна, чтобы примирить две стороны внутри компаний. Финансисты хотят контролировать расходы, но не всегда понимают нагрузку приложения. Инженеры понимают нагрузку, но не видят рыночных цен. Пользователь может выбрать готовый сценарий, собранный на опыте клиентов, или нарисовать собственную кривую трафика мышью.

Одна формула вместо споров

Модель устроена просто. Спрос на GPU во времени обозначен demand(t). В serverless стоимость равна ставке Rs, умноженной на фактический спрос в каждый момент, то есть на средний спрос за период. В резерве нужно покупать мощность под пик на весь срок контракта: ставка Rr × максимальный спрос × длительность T.

После деления одной стоимости на другую остаётся сравнение двух статистик спроса, пика и среднего. Serverless выгоднее, когда отношение пика к среднему больше отношения ставок Rs/Rr. Пример из текста: если резерв в 10 раз дешевле, а приложение даёт пик в 10 средних, стоимость одинакова.

Цифры, которые приводит Modal:

• типичные скидки за резервирование: 2–5×;
• пик к среднему у инференса, обучения и агентной разработки: 5–10×, иногда выше;
• утилизация резервов по отраслевым опросам: меньше 30%, часто меньше 10%;
• пик к среднему у всплесков над базовой нагрузкой: 10–100×;
• масштаб Enterprise-уровня: сотни и тысячи GPU.

Где модель врёт, и в чью пользу

Авторы честно перечисляют допущения. Первое: спрос идеально прогнозируется на весь срок резерва. Это поблажка резервированию, ведь на практике ошибка вниз даёт очереди, нарушение SLO и срочные переговоры о закупке, а ошибка вверх означает деньги, уже потраченные впустую.

Второе допущение работает в пользу serverless: выделение и освобождение GPU мгновенны. Здесь Modal признаёт оговорку: цель в том, чтобы SLO выполнялись при автомасштабировании. Компания утверждает, что даже vLLM или SGLang-сервер стартует за секунды, а для остального есть тёплые пулы и буферы, которые дорожают, но с масштабом дешевеют в расчёте на единицу.

Третье допущение: стратегия либо целиком serverless, либо целиком резерв. Часть компаний покрывает резервом базовую нагрузку, а всплески отдаёт на serverless. Та же арифметика применима к избытку над базой, и именно там отношения пик/среднее достигают 10–100×. Гибридную модель Modal только изучает, как единого поставщика она пока не предлагает.

Четвёртое: стоимость GPU не единственный фактор. Modal ссылается на скорость холодных стартов, позволяющую разрабатывать на той же инфраструктуре, что и в продакшене. Количественной оценки этого эффекта в материале нет.

Как этим пользоваться

Стоит помнить, что это инструмент вендора: ставки и параметры подобраны под продукт Modal, а клиентские кейсы не раскрыты. Тем не менее сама логика универсальна, и ей можно проверять любые предложения, включая конкурирующие.

Практический порядок действий такой. Возьмите реальную почасовую выгрузку использования GPU минимум за несколько месяцев и посчитайте пик и среднее. Разделите ставку serverless на ставку резерва, учитывая срок контракта и реальную цену за час, а не прайс-лист. Если отношение пик/среднее заметно выше, serverless стоит рассматривать всерьёз. Если нагрузка плоская, например непрерывное обучение на фиксированном кластере, резерв остаётся разумным выбором.

Отдельно проверьте утилизацию уже купленных резервов. Если она ближе к 10%, чем к 30%, разговор о всплесках можно начинать с собственных счетов. И не забудьте заложить стоимость тёплых буферов: именно они определяют, выдержит ли serverless ваше SLO по задержке.