Google lance l'API Decisions : routage et classification à 0,10 $ le million de tokens

Presque tous les produits basés sur des LLM comportent une couche ennuyeuse que personne ne montre dans les démos : un routeur, un classifieur, un filtre. Elle décide quel modèle appeler, s'il faut laisser passer une requête au regard de la politique d'usage, si le contexte retrouvé est pertinent. En général, on utilise pour cela un petit modèle génératif, auquel on demande de répondre en un mot avant d'analyser le résultat. Google propose de se débarrasser de ce bricolage : Gemini Decisions API a été conçue précisément pour les tâches de choix.

De quoi s'agit-il

Il s'agit d'un endpoint distinct, reposant sur le modèle Gemini Decision 1. Celui-ci n'écrit pas de texte. En un seul passage, il évalue toutes les options et renvoie des probabilités. Les questions peuvent être de trois types :

• oui ou non, avec la probabilité que la condition soit remplie ;
• choix parmi 2 à 255 options, avec une probabilité pour chacune ;
• évaluation sur une échelle à partir de zéro, avec un score continu.

On peut fournir en entrée jusqu'à 256 000 tokens : texte, images, audio, vidéo ou PDF. Pour un même contenu, il est possible de poser jusqu'à mille questions indépendantes dans une seule requête.

À quoi cela ressemble en pratique

Imaginez un service d'assistance qui reçoit des demandes accompagnées de captures d'écran. Auparavant, chaque critère nécessitait un appel distinct : s'agit-il d'un remboursement ou non, le client est-il irrité ou non, vers laquelle des douze équipes faut-il transférer la demande, quel est son degré d'urgence. Désormais, la demande est envoyée une seule fois, accompagnée d'une liste de questions. En retour, vous obtenez un ensemble de probabilités et de scores que vous pouvez comparer directement à des seuils dans votre code.

Ce schéma est également pratique pour les agents. Au lieu de demander à un grand modèle de « choisir un outil et d'expliquer », vous obtenez une distribution de probabilités sur les outils. Si la confiance est inférieure au seuil, la requête est redirigée vers un modèle plus coûteux ou vers un humain. C'est une logique d'ingénierie classique, sauf qu'elle s'appuie désormais sur des chiffres plutôt que sur l'analyse d'une chaîne de caractères.

Coûts et calibration

Selon la grille tarifaire, le million de tokens en entrée coûte 10 cents, tandis que les tokens en sortie ne sont pas facturés. Le contenu commun d'une requête n'est payé qu'une fois, quel que soit le nombre de questions posées à son sujet. Ainsi, un long document accompagné d'une centaine de questions coûte autant que le même document avec une seule question.

Google affirme que, sur son propre jeu de tests couvrant le routage d'agents, le raisonnement, le classement et les tâches multimodales, le modèle affiche la plus faible erreur de calibration. Ici, la calibration désigne l'honnêteté des probabilités : si le modèle annonce « 80 % », il doit avoir raison environ quatre fois sur cinq. Pour les seuils et l'escalade, c'est plus important que la simple précision. Google revendique également une économie presque quintuple par rapport à Gemini 3.5 Flash-Lite via l'Interactions API.

Points d'attention

Premièrement, tous les chiffres proviennent pour l'instant des benchmarks de Google elle-même. Avant de remplacer un routeur qui fonctionne, testez le modèle sur vos propres données annotées et vérifiez vous-même la calibration : c'est elle qui détermine si l'on peut se fier aux seuils.

Deuxièmement, l'accès reste limité. L'API est ouverte via l'API Gemini et Google AI Studio ; la prise en charge dans Google Cloud est annoncée pour plus tard. Si vous travaillez dans un environnement d'entreprise sur Vertex, il faudra patienter. Pour les prototypes, AI Studio propose un niveau gratuit.

Troisièmement, l'écosystème rattrape son retard progressivement. L'intégration avec OpenRouter, LangChain, Vercel, LiteLLM et d'autres outils n'arrive pas immédiatement ; des aspérités sont donc possibles au démarrage.

Que faire

Repérez dans votre stack les endroits où un LLM sert d'aiguillage : routage entre modèles, modération, évaluation de la pertinence du contexte dans un RAG, choix d'outil par un agent. Ce sont eux qu'il faut tester en priorité avec Decisions API. Si les probabilités s'avèrent fiables, vous obtiendrez une couche de pilotage moins chère et plus prévisible, tandis que les modèles génératifs coûteux seront réservés aux cas où l'on a réellement besoin de texte.