Google lance gemini-decision-1 : le modèle renvoie des probabilités plutôt que du texte en 150–250 ms

Une scène familière : vous devez décider dans quelle file envoyer la demande d'un client. Vous prenez un grand modèle de langage, lui demandez de « répondre au format JSON », attendez qu'il génère le texte jeton après jeton, puis vous parsez la réponse en espérant qu'aucune accolade ne se soit perdue. Tout cela pour une seule décision du type « branche A ou branche B ». Google a sorti un outil qui supprime entièrement cette couche.

Ce qui a été lancé exactement

Le modèle s'appelle gemini-decision-1, il est disponible comme endpoint séparé et, pour l'instant, en préversion dans AI Studio. La principale différence avec le Gemini habituel : il ne génère aucun jeton. À la place, en un seul forward pass, il évalue les options de réponse et renvoie des probabilités. Zéro jeton de sortie, et le code peut se brancher directement sur les nombres.

En entrée, on peut fournir du texte, des images, de l'audio, de la vidéo et des PDF, pour un total allant jusqu'à 262 144 jetons. Il est possible de poser jusqu'à 1 000 questions indépendantes sur une même entrée. Il existe trois types de questions :

• oui/non, avec une réponse comprise entre 0,01 et 0,99 ;
• choix parmi 2 à 255 options ;
• note selon une grille avec moyenne pondérée.

Les questions ne se voient pas entre elles, donc les réponses ne s'influencent pas. D'après l'annonce, la latence n'augmente presque pas : 50–100 ms pour le modèle lui-même et 150–250 ms de bout en bout, aussi bien pour une question que pour une centaine.

À quoi cela ressemble en pratique

Imaginez un e-mail entrant au support, avec une capture d'écran jointe. Auparavant, vous auriez fait plusieurs appels ou un long prompt demandant une structure. Désormais, vous envoyez l'e-mail et la capture une seule fois et ajoutez trois questions :

• « Est-ce un problème de paiement ? » — oui/non ;
• « À quelle équipe le transmettre ? » — choix parmi cinq options ;
• « Quel est le degré d'urgence selon la grille ? » — note par critères.

En retour, vous recevez trois séries de nombres. Ensuite, un simple if : si la probabilité de paiement dépasse 0,8, on envoie à la facturation. Pas de parsing, pas de nouvelles tentatives à cause d'un format bancal.

Le modèle de facturation est lui aussi agréable. L'entrée commune est payée une seule fois, et chaque question n'ajoute que ses propres instructions et critères. Il n'y a pas de facturation distincte pour les jetons de thinking, la transcription audio et l'OCR. Prix : 0,10 $ par million de jetons d'entrée et 0 $ pour la sortie. Le niveau gratuit offre 200 requêtes par minute, 50K jetons par minute et 10 000 requêtes par jour. Au Tier 1, les limites montent à 1 500 RPM et 1M TPM ; au Tier 3, à 15 000 RPM et 10M TPM.

À qui cela s'adresse et où est le piège

L'auteur de l'analyse d'origine y voit le type de lancement le plus sous-estimé et parie sur les agents. Si vous avez une chaîne de dix étapes et que vous devez choisir un outil à chacune, l'économie, selon son estimation, ne se compte pas en pourcents mais en ordre de grandeur : moins de latence, moins d'argent, aucun parsing. C'est une estimation de l'auteur du post, et non un benchmark mesuré, mais la logique est claire. De nombreux appels de LLM en production sont en réalité des classifieurs : routage, modération, filtres, triage, scoring selon une checklist. Pour eux, la génération de texte n'était qu'un adaptateur.

Passons aux limites.

• C'est une préversion. Les limites, les prix et le comportement du modèle peuvent changer avant la sortie.
• L'API Batch et la mise en cache du contexte ne sont pas prises en charge. Si vous avez un gros contexte répétitif, par exemple une longue instruction ou une base de connaissances, vous devrez le payer à chaque fois.
• La description ne contient aucune métrique de qualité. On ne sait pas à quel point les probabilités sont bien calibrées ni comment le modèle gère les formulations subtiles des grilles. Si vous comptez prendre une décision aux conséquences juridiques ou financières à partir d'un seuil de 0,7, vérifiez d'abord la calibration sur vos propres données.
• C'est un endpoint Google, la dépendance vis-à-vis du fournisseur demeure donc.

Que faire en pratique

Listez vos appels de LLM et repérez ceux dont la réponse se résume finalement à une étiquette, un drapeau ou un nombre. Ce sont les premiers candidats. Constituez un échantillon annoté de quelques centaines d'exemples, passez-le sur le niveau gratuit d'AI Studio et comparez la précision et la latence avec votre solution actuelle. Si la qualité n'est pas inférieure et que la latence tombe à 150–250 ms, le routage et la modération méritent d'être migrés ici. Quant à la génération de texte destiné à l'utilisateur, laissez-la bien sûr aux modèles classiques.