Модели принятия решений заняли 26% запросов Vercel AI Gateway при 0,53% расходов

Ваш сервис получает обращение клиента и должен выбрать: отправить его в поддержку, передать продавцу или запросить уточнение. Для этого не всегда нужен большой языковой модели целый диалог. Иногда достаточно короткого решения из нескольких вариантов. По данным ноябрьского отчёта Vercel, такие задачи уже дают 26% запросов AI Gateway, занимая всего 0,53% расчётных расходов.

Это полезный повод пересмотреть устройство AI-продукта. Если модель одновременно пишет ответы, сортирует обращения и выбирает дальнейшие действия, стоит отдельно измерить стоимость каждого этапа. Возможно, часть работы можно поручить более дешёвым специализированным моделям.

Короткие решения стали отдельной статьёй трафика

Vercel называет decision models модели, которые классифицируют данные, выставляют оценки или выбирают между вариантами. Вместо развёрнутого ответа приложение получает короткий результат, пригодный для следующего шага программы. Средний запрос к ним, по оценке компании, примерно в 70 раз дешевле запроса к языковой модели.

Представим интернет-магазин. Покупатель пишет: «Заказ не приехал, хочу вернуть деньги». На первом этапе системе нужно определить тип обращения. После этого можно передать сообщение нужному обработчику, получить сведения о заказе и уже затем подготовить содержательный ответ. Генерация текста остаётся там, где она приносит пользу, а маршрутизация становится отдельной операцией.

В октябре такие модели использовала почти треть платящих команд шлюза. Среди команд с месячным объёмом свыше 10 млрд токенов доля достигала 70%. На больших объёмах даже небольшая экономия на одном действии заметно меняет общий счёт.

Но есть существенная деталь: почти весь трафик этой категории пришёлся на Jev от TypeSafe AI. Поэтому цифра 26% говорит прежде всего о сильном использовании конкретного продукта внутри конкретного шлюза. Она ещё не доказывает, что десятки независимых поставщиков нашли массовый спрос.

Anthropic привлекает новые команды, OpenAI получает больше расходов

По охвату платящих команд OpenAI и Anthropic почти сравнялись: в октябре их модели использовали 55% и 54% команд соответственно. Эти доли пересекаются: одна команда может работать с обеими компаниями.

Среди новых команд Anthropic становилась основным поставщиком почти вдвое чаще OpenAI. Здесь важно определение: Vercel считает основным того поставщика, которому команда отправила больше всего запросов к языковым моделям за первый месяц. Речь не об эксклюзивном контракте или окончательном выборе технологического стека.

При этом доля OpenAI в расходах шлюза выросла примерно с 9% в декабре до 15% в октябре. Доля Anthropic за тот же период сократилась примерно вдвое, до 32%, хотя компания сохранила лидерство по этому показателю. Среди верхнего 1% команд по расходам больше 90% используют обоих поставщиков.

Для основателя здесь практический сигнал: популярность при первом подключении и объём оплаченной работы — разные показатели. По одному нельзя уверенно судить о другом.

Модели меняются быстрее, чем архитектура продукта

Больше половины октябрьских запросов к языковым моделям получили версии, появившиеся на шлюзе менее 60 дней назад. Около половины команд с объёмом от 10 млн токенов сменили свою основную модель за месяц. Среди сменивших 60% перешли к другой лаборатории.

Такая подвижность делает полезными собственный набор проверочных задач и возможность переключать поставщика без переделки бизнес-логики. Перед заменой модели стоит сравнить качество на реальных обращениях, задержку и стоимость успешного результата. Дешёвый запрос мало помогает, если после него требуется ручная проверка.

У отчёта есть границы. Он описывает анонимизированный трафик Vercel AI Gateway за октябрь, а расходы оцениваются по публичным тарифам. Размер команд определяется объёмом токенов; абсолютное число команд в приведённом тексте не указано. Данных о качестве решений и сопоставимых задержках тоже нет.

Поэтому разумный следующий шаг — выбрать одну частую задачу классификации, собрать реальные примеры и сравнить специализированную модель с текущим решением. Именно такой тест покажет, превращается ли впечатляющая статистика шлюза в экономию для вашего продукта.