Google запустила Decisions API: маршрутизация и классификация за $0,10 за млн токенов

Почти в каждом LLM-продукте есть скучный слой, который никто не показывает на демо: роутер, классификатор, фильтр. Он решает, какую модель позвать, пропустить ли запрос через политику, подходит ли найденный контекст. Обычно для этого берут маленькую генеративную модель, просят её ответить одним словом и потом парсят результат. Google предлагает убрать этот костыль: Gemini Decisions API создан именно для задач выбора.

Что это такое

Это отдельный эндпоинт на базе модели Gemini Decision 1. Она не пишет текст. За один проход она оценивает все варианты и возвращает вероятности. Вопросы бывают трёх видов:

• да или нет, с вероятностью того, что условие выполняется;
• выбор из 2–255 вариантов, с вероятностью для каждого;
• оценка по шкале от нуля, с непрерывным баллом.

На вход можно подать до 256 тысяч токенов: текст, изображения, аудио, видео или PDF. К одному такому содержимому в одном запросе разрешено задать до тысячи независимых вопросов.

Как это выглядит на практике

Представьте поддержку, куда приходят обращения с вложенными скриншотами. Раньше на каждый признак вы делали отдельный вызов: это возврат или нет, клиент раздражён или нет, в какую из двенадцати команд передать, насколько срочно. Теперь обращение отправляется один раз, а к нему прикладывается список вопросов. В ответ вы получаете набор вероятностей и баллов, которые можно сразу сравнить с порогами в коде.

Такая схема удобна и для агентов. Вместо того чтобы просить большую модель «выбери инструмент и объясни», вы получаете распределение по инструментам. Если уверенность ниже порога, запрос уходит на более дорогую модель или к человеку. Это обычная инженерная логика, только теперь она опирается на числа, а не на разбор строки.

Деньги и калибровка

По тарифу миллион входных токенов стоит 10 центов, выходные не оплачиваются. Общее содержимое запроса оплачивается один раз, сколько бы вопросов к нему ни задали. Поэтому длинный документ с сотней вопросов обходится так же, как тот же документ с одним.

Google утверждает, что на её собственном наборе тестов по маршрутизации агентов, рассуждению, ранжированию и мультимодальным задачам модель показывает наименьшую ошибку калибровки. Калибровка здесь — это честность вероятностей: если модель говорит «80%», она должна быть права примерно в четырёх случаях из пяти. Для порогов и эскалации это важнее, чем голая точность. Там же заявлена почти пятикратная экономия относительно Gemini 3.5 Flash-Lite через Interactions API.

Что учесть

Во-первых, все цифры пока из бенчмарков самой Google. Прежде чем заменять работающий роутер, прогоните модель на своих размеченных данных и сами проверьте калибровку: именно она определяет, можно ли доверять порогам.

Во-вторых, доступ пока ограничен. API открыт через Gemini API и Google AI Studio, поддержку в Google Cloud обещают позже. Если вы на корпоративном контуре Vertex, придётся подождать. Для прототипов в AI Studio есть бесплатный уровень.

В-третьих, экосистема догоняет постепенно. Подключение к OpenRouter, LangChain, Vercel, LiteLLM и другим инструментам появляется не сразу, так что на старте возможны шероховатости.

Что делать

Найдите в своём стеке места, где LLM используется как переключатель: роутинг по моделям, модерация, оценка релевантности контекста в RAG, выбор инструмента агентом. Именно их стоит проверить на Decisions API в первую очередь. Если вероятности окажутся честными, вы получите более дешёвый и предсказуемый управляющий слой, а дорогие генеративные модели останутся для тех случаев, где нужен именно текст.