OpenAI lance Decisions API : les décisions des agents jusqu'à 10 fois plus rapides

OpenAI a fait passer Decisions API de la bêta publique à la disponibilité générale. Cet endpoint dédié, fondé sur GPT-6 Luna, répond à des questions dont l'ensemble de réponses est fixé à l'avance. Selon l'entreprise, il le fait jusqu'à 10 fois plus vite que la même Luna via Responses API. Le tarif : $0.10 par million de tokens d'entrée, $0.01 pour les tokens mis en cache, et aucune facturation pour les tokens de sortie.

L'idée est simple. Applications et agents prennent des dizaines de petites décisions au sein d'un même scénario : dans quelle catégorie ranger un document entrant, vers quelle file envoyer une demande, poursuivre, réessayer ou demander une précision. Chaque décision est triviale. Mais lorsqu'un modèle génératif complet s'en charge, la latence et le coût s'accumulent tout au long de la chaîne, et le produit interactif finit par ralentir.

Trois types de réponse au lieu du texte libre

Le développeur décrit la question et les réponses admissibles, puis fournit le contexte sous forme de texte, d'images ou de JSON natif. L'API renvoie l'un des trois types de résultat :

• predicate : la probabilité, de 0 à 1, qu'une condition soit vraie, par exemple que des dégâts soient visibles sur un produit ;
• choice : l'une des options transmises, accompagnée des probabilités et du confidence. Adapté à un choix du type « continuer / réessayer / préciser » ;
• score : une note sur l'échelle ordonnée d'une grille, par exemple la gravité d'un dommage. La valeur est calculée comme la moyenne des indices de niveaux pondérée par les probabilités.

L'économie du dispositif s'en déduit. Le résultat étant construit comme une distribution de probabilités sur les options fournies, le modèle n'a pas à générer de texte, et il n'y a rien à payer en sortie. Tout le coût se concentre sur l'entrée. Supposons qu'un classifieur reçoive 500 tokens par appel : un million d'appels coûtera $50. Si 400 de ces tokens forment un préfixe cacheable contenant l'instruction et la grille, la facture tombe à environ $14. C'est un calcul à la louche fondé sur les tarifs publiés, mais il donne l'ordre de grandeur.

Ce qui a été ajouté depuis la bêta

• intégration native avec GPT-Live : la décision se déclenche via un trigger dans `session.triggers` sur un événement comme `session.input_transcript.delta`, et l'application reçoit un `decision.event` ;
• mise en cache du prompt pour les contextes répétitifs, avec une entrée cacheable de 30 minutes et de 12 heures ;
• traitement régional de l'inférence aux États-Unis et dans l'UE, Zero Data Retention pour les clients éligibles ;
• entrées JSON natives et images directement dans les instructions de la question ;
• jusqu'à 400 questions par requête, soit le double de l'ancienne limite ;
• capacités supplémentaires dans plusieurs régions d'Asie pour réduire la latence.

Les chiffres des clients

OpenAI cite cinq cas externes. Tous proviennent des propres évaluations des entreprises ; il n'existe pas de benchmarks indépendants.

• Box : routage de documents, choix de la route ~5x plus rapide sur 30 certificats d'assurance, pour une précision identique à celle de Responses API. Les cas incertains sont transmis à une vérification humaine.
• Datadog : évaluation du risque des commandes shell générées par un agent, avant leur exécution. En p95, 40 fois plus rapide que les modèles frontier, pour une précision comparable. Cela a permis de placer Decisions dans le chemin critique de la remédiation automatique.
• Ramp : attribution des dépenses d'IA au travail réel. 4 fois plus rapide et 30% moins cher que GPT-6 Luna, sans perte de précision.
• Sierra : choix de la prochaine action dans des conversations clients en direct. p95 sous 280 ms, environ 3 fois plus rapide et 90% moins cher par appel que l'approche précédente, sans dégradation des résultats pour les clients.
• SpeakBox : l'intégration avec GPT-Live a ramené le délai avant la prochaine action de 1.4 s à 0.13 s, soit plus de 90% de réduction.

En interne, chez OpenAI, les équipes dots, Personal Finance (catégorisation des libellés de transactions) et Communications (classement des publications par thème et évaluation de leur effet : renforcent-elles les récits clés ou les contestent-elles) utilisent déjà l'API.

Par où commencer

Le cas Datadog montre où l'API est la plus utile : comme couche de protection avant les actions irréversibles d'un agent. Évaluer le risque d'une commande en une fraction de seconde permet de vérifier chaque étape, et non un échantillon. Le schéma de Box, qui renvoie les cas incertains à des humains, repose sur le champ confidence de la réponse choice.

Voici un ordre de marche pratique. Identifiez la décision que l'application prend le plus souvent. Formulez la question et l'ensemble fermé de réponses. Rassemblez des exemples issus du trafic réel et passez-les dans Decisions Playground, sur vos propres textes ou images. Comparez avec la variante actuelle sur Responses API en termes de précision, de p95 et de coût. Choisissez les seuils de probabilité et de confidence d'après des données annotées, pas à l'œil : ils déterminent combien de cas partiront en vérification manuelle. Pour les agents vocaux, l'étape suivante consiste à brancher la même question comme trigger dans GPT-Live.