OpenAI выпустила Decisions API: решения агентов до 10 раз быстрее

OpenAI перевела Decisions API из публичной беты в общий доступ. Это выделенный эндпоинт на GPT-6 Luna, который отвечает на вопросы с заранее заданным набором ответов и, по заявлению компании, делает это до 10 раз быстрее, чем та же Luna через Responses API. Цена: $0.10 за миллион входных токенов, $0.01 за кешированные, а за выходные токены платить не нужно вообще.

Идея простая. Приложения и агенты принимают десятки мелких решений за один сценарий: к какой категории отнести входящий документ, на какую очередь отправить обращение, продолжать, повторять или переспрашивать. Каждое решение тривиально. Но если его принимает полноценная генеративная модель, задержка и стоимость копятся в цепочке, и интерактивный продукт начинает тормозить.

Три типа ответа вместо свободного текста

Разработчик описывает вопрос и допустимые ответы, подаёт контекст текстом, картинками или нативным JSON. API возвращает один из трёх типов результата:

• predicate: вероятность от 0 до 1 того, что условие истинно, например что на товаре видны повреждения;
• choice: один из переданных вариантов, плюс вероятности и confidence. Подходит для выбора вроде «продолжить / повторить / уточнить»;
• score: оценка по упорядоченной шкале рубрики, например тяжесть повреждения. Значение считается как взвешенное по вероятностям среднее индексов уровней.

Экономика отсюда видна. Раз результат строится как распределение вероятностей по заданным вариантам, модели не нужно генерировать текст, и платить за выход нечего. Вся стоимость сидит во входе. Допустим, классификатор получает 500 токенов на вызов. Миллион вызовов обойдётся в $50. Если 400 токенов из них кешируемый префикс с инструкцией и рубрикой, выйдет около $14. Это расчёт на пальцах по опубликованным тарифам, но порядок величин он показывает.

Что добавили с беты

• нативная интеграция с GPT-Live: решение запускается триггером в `session.triggers` по событию вроде `session.input_transcript.delta`, а приложение получает `decision.event`;
• кеширование промпта для повторяющегося контекста, с кешируемой записью на 30 минут и 12 часов;
• региональная обработка инференса в США и ЕС, Zero Data Retention для подходящих клиентов;
• нативные JSON-входы и изображения прямо в инструкциях вопроса;
• до 400 вопросов в одном запросе, вдвое больше прежнего лимита;
• дополнительные мощности в нескольких регионах Азии для снижения задержки.

Цифры клиентов

OpenAI приводит пять внешних кейсов. Все они взяты из собственных оценок компаний, независимых бенчмарков нет.

• Box: маршрутизация документов, ~5x быстрее выбор маршрута на 30 страховых сертификатах при той же точности, что у Responses API. Неуверенные случаи уходят на проверку людям.
• Datadog: оценка риска shell-команд, сгенерированных агентом, до их выполнения. По p95 в 40 раз быстрее frontier-моделей при сопоставимой точности, что позволило поставить Decisions в горячий путь автоматической ремедиации.
• Ramp: атрибуция расходов на ИИ к реальной работе. В 4 раза быстрее и на 30% дешевле, чем GPT-6 Luna, без потери точности.
• Sierra: выбор следующего действия в живых клиентских разговорах. p95 ниже 280 мс, примерно в 3 раза быстрее и на 90% дешевле за вызов, чем прежний подход, без просадки по результатам для клиентов.
• SpeakBox: интеграция с GPT-Live сократила время до следующего действия с 1.4 с до 0.13 с, более чем на 90%.

Внутри OpenAI API уже используют команды dots, Personal Finance (категоризация описаний транзакций) и Communications (разметка публикаций по темам и оценка, усиливают ли они ключевые нарративы или оспаривают их).

С чего начинать

Кейс Datadog показывает, где API полезнее всего: это защитный слой перед необратимыми действиями агента. Оценка риска команды за доли секунды позволяет проверять каждый шаг, а не выборочные. Схема Box со сбросом неуверенных случаев людям строится на поле confidence в ответе choice.

Практичный порядок такой. Найдите одно решение, которое приложение принимает чаще всего. Сформулируйте вопрос и закрытый набор ответов. Соберите примеры из реального трафика и прогоните их в Decisions Playground на своих текстах или изображениях. Сравните с текущим вариантом на Responses API по точности, p95 и стоимости. Пороги по вероятности и confidence подбирайте по разметке, а не на глаз: от них зависит, сколько случаев уйдёт на ручную проверку. Для голосовых агентов следующий шаг — подключить тот же вопрос триггером в GPT-Live.