Google запустил API для выбора действий с задержкой 150–250 мс

В поддержке накопилась очередь заявок, и LLM должна решить, куда отправить каждую: в оплату, технический отдел или к менеджеру. Ради одного выбора команда настраивает генерацию JSON, проверяет формат и обрабатывает неудачные ответы. Google предлагает отдельный API для таких задач: разработчик задаёт допустимые варианты, модель возвращает их вероятности. Это полезный кандидат для эксперимента там, где продукту нужен быстрый выбор следующего действия.

В анонсе Google новый сервис называется Gemini Decisions API, модель — Gemini Decision 1. Она оценивает предложенные ответы за один проход. Заявленная задержка составляет 150–250 мс, но здесь есть существенная оговорка: приведённые замеры относятся к контексту до 16 тысяч токенов. Переносить эту скорость на любой длинный документ было бы ошибкой.

Как это выглядит в продукте

Представим сервис, который разбирает обращения покупателей. На вход приходит письмо со скриншотом списания. Разработчик задаёт три направления: вопрос об оплате, техническая проблема, другое. Дополнительно можно спросить, требует ли обращение срочной реакции. Эти проверки относятся к одному материалу, поэтому их удобно объединить в запрос.

Дальше начинается обычная продуктовая логика. Если оценка выбранного направления выше установленного порога, заявка попадает в нужную очередь автоматически. Если уверенности недостаточно, её получает оператор. Например, команда может начать с порога 95%, а затем изменить его по результатам проверки. Это условный пример настройки, а не рекомендованное Google значение.

API поддерживает вопросы «да или нет», выбор из списка и оценку по заданной шкале. Среди входных форматов — текст, изображения, аудио, видео и PDF. Практический смысл мультимодальности понятен: письмо и приложенный скриншот можно рассматривать вместе, сохраняя важные для решения детали.

При этом разработчику всё равно придётся описать варианты достаточно ясно. Если две категории пересекаются, наличие вероятностей само по себе не исправит классификацию. Сначала нужно договориться, чем вопрос о возврате отличается от спора о списании, и только затем автоматизировать распределение.

Что проверить за обещаниями скорости и цены

Google указывает цену $0,10 за миллион входных токенов и отсутствие платы за выходные. Общий материал оплачивается один раз на запрос, а вопросы добавляют собственные инструкции и критерии. Сервис позволяет задать до 1000 вопросов к одному входу; максимальный контекст составляет 256 тысяч токенов.

Для команды это повод посчитать стоимость своей конкретной операции. Сколько занимает инструкция? Сколько вопросов действительно нужно? Как часто результат придётся перепроверять человеком? Дешёвый вызов может дать небольшую экономию, если после него сохраняется большая ручная очередь.

Утверждение о пятикратном удешевлении тоже требует контекста. В первоисточнике Google сравнивает сервис с Gemini 3.5 Flash-Lite на общем наборе тестов. Это не обещание сократить расходы любого приложения в пять раз. Для собственного расчёта нужны текущая модель, реальные документы и одинаковые требования к качеству.

Вероятность нужно проверить на своих данных

Самая интересная часть такого интерфейса — возможность управлять автоматизацией через порог. Но число 95% в ответе ещё предстоит сопоставить с фактической долей верных решений на ваших обращениях. Особенно полезно отдельно проверить редкие категории и неоднозначные случаи: именно они часто создают дорогие ошибки.

Я бы начал с одной узкой операции, например распределения заявок между отделами. Собрал бы размеченную выборку, сравнил API с текущим решением и посмотрел на три показателя: ошибки маршрутизации, время ответа и долю обращений, оставшихся у оператора. После этого можно выбирать рабочий порог.

Для продакта результат такого теста гораздо полезнее общей таблицы бенчмарков. Он покажет, сколько заявок удаётся обработать автоматически при допустимом количестве ошибок. А разработчику даст конкретное основание решить, стоит ли добавлять новый сервис в рабочую систему.