Fireworks отдаёт 40 трлн токенов в день на кастомных моделях — вдвое больше, чем летом

Принято считать, что открытые модели — это нишевое занятие энтузиастов, а настоящие деньги и трафик живут у OpenAI и Anthropic. Нейтан Ламберт, автор Interconnects, решил проверить это на цифрах. Первая заметка из его новой платной серии о том, насколько велика экономика открытых моделей, задаёт простой вопрос: рынок инференса открытых моделей растёт или это статистическая погрешность рядом с закрытыми лабораториями?

Откуда берутся цифры

Честных измерений здесь нет, и Ламберт сам это признаёт. Есть шумные метрики платформ, маркетинговые цифры стартапов и несовершенные публичные бенчмарки. Поэтому он берёт в качестве ориентиров три компании, чья судьба напрямую зависит от открытых моделей: Baseten, Fireworks и Together AI. К ним добавляется доля открытых моделей в токенах OpenRouter, которую сервис отдаёт через свой API.

Гиперскейлеры вроде Amazon Bedrock и Azure, скорее всего, тоже занимают тут большое место. Но они не раскрывают, сколько трафика приходится именно на открытые модели, так что в выборку не попали.

Главная свежая цифра идёт от Fireworks. На своей первой конференции компания заявила, что обрабатывает больше 40 трлн токенов в день для кастомных моделей клиентов. Это лишь один сегмент их инференса, и он вырос более чем вдвое с лета. Ламберт ожидает, что полный объём Fireworks к следующему обновлению окажется заметно выше 100 трлн токенов в день.

Как это сравнивать с закрытыми моделями

Первый инстинкт Ламберта — привязать эти числа к чему-то известному. Google единственный из крупных игроков публикует токены по всей платформе и API в отчётах для инвесторов. Поэтому он накладывает данные Google на графики открытых платформ, в логарифмической шкале. Сам результат сравнения остался за пейволом, так что мы не знаем, насколько близко открытый сегмент подобрался к Google.

Но кое-что видно и без него. На лог-шкале публичные данные стартапов выглядят почти как прямая линия вверх, то есть экспоненциальный рост. По версии Ламберта, после выхода GLM 5.2 это ускорилось ещё сильнее, потому что открытые модели заметно подтянулись в агентных задачах. А агенты съедают на порядки больше токенов, чем обычный чат: один запрос превращается в длинную цепочку вызовов инструментов и повторных обращений к модели.

Что с этим делать

Для практика вывод не в том, что открытые модели обогнали закрытые. Он в другом: инфраструктура под них стала полноценным рынком, где объёмы измеряются десятками триллионов токенов в сутки. Это значит несколько вещей.

• Если вы строите агентный продукт с большим расходом токенов, у вас есть реальная альтернатива закрытым API. Посчитайте стоимость миллиона токенов на Fireworks, Together или Baseten для вашей нагрузки и сравните с текущим счётом.
• Кастомизация становится главным аргументом. Рост именно сегмента кастомных моделей у Fireworks говорит, что клиенты дообучают и подстраивают открытые модели под себя, а не просто берут готовые.
• Привязка к одному вендору обходится дороже, чем раньше. Если ваш код завязан на один формат API, держите абстракцию над провайдерами.

Ограничения

Стоит помнить о границах этих данных. Цифры стартапов — маркетинговые, их никто независимо не аудирует, и «токен в день» не равен выручке. Токены разных моделей стоят очень по-разному, а агентные нагрузки раздувают объём без пропорционального роста денег. Сравнение с Google тоже грубое: у Google считаются все модели платформы, а у стартапов только открытые.

Поэтому смотреть стоит на направление и порядок величины, а не на точные доли. Направление при этом пока однозначное: открытый инференс растёт быстро, и игнорировать его при выборе стека уже рискованно. Полные выводы Ламберта закрыты подпиской, а бесплатный дашборд Interconnects с данными по внедрению и качеству открытых моделей можно использовать как отправную точку.