Google lance Gemini Decision 1 : réponse en 150–250 ms et 0,10 $ pour 1 M de tokens

C'est une douleur bien connue : vous construisez un agent, et la moitié de ses appels à un grand modèle ne relèvent pas du raisonnement, mais de la routine. « Est-ce du spam ou non ? », « quel outil appeler ? », « y a-t-il une erreur dans ce log ? ». Payer pour de la génération de texte token par token afin d'obtenir « oui » ou « option C » est un gaspillage, et c'est lent. Google a résolu ce problème avec une classe de modèles à part.

Ce qui a été lancé exactement

Gemini Decision 1 est un « modèle de décision ». Il travaille avec un ensemble fermé d'options : vous fournissez une question et une liste de réponses, et il évalue chaque option en une seule passe. Le texte n'est pas généré token par token. Chaque réponse est accompagnée d'une estimation de confiance (calibrated confidence).

Trois modes sont pris en charge : oui/non, choix parmi des options (jusqu'à 255) et évaluation selon une grille. En entrée, on peut fournir du texte, des images, de l'audio, de la vidéo et des PDF. Une seule requête peut contenir jusqu'à 1000 questions avec un contexte de 256K. La latence de bout en bout est de 150–250 ms.

Prix : 0,10 $ par million de tokens en entrée, les tokens en sortie ne sont pas facturés. Google affirme que c'est environ 5 fois moins cher que Flash-Lite. Selon Phil Schmid, le projet a débuté comme un prototype interne de DeepMind, et une petite équipe en a fait un modèle et une API en environ six semaines.

À quoi cela ressemble en pratique

Imaginez un service d'assistance qui reçoit des milliers de demandes par heure. Auparavant, vous demandiez au LLM : « détermine la catégorie et l'urgence et rédige une réponse en JSON ». Désormais, vous envoyez un lot de questions du type « s'agit-il d'une réclamation de paiement ? », « le client est-il en colère ? », « faut-il un humain ? » et vous obtenez des réponses avec un niveau de confiance. Si la confiance est sous le seuil, la demande est transmise à un humain ou à un grand modèle.

Ce schéma a été présenté par Cloudflare à l'AI Engineer. Des modèles de décision rapides choisissent les outils et extraient les lignes utiles des logs, tandis qu'un grand modèle de reasoning n'intervient que pour le diagnostic. Dans une démo avec un échec de build, six appels de LLM sont devenus un seul, et la consommation est passée d'environ 40K tokens à 1,8K. LangChain a ajouté la prise en charge de Decision 1 le jour de la sortie, avec une classe de base commune pour les classificateurs TypeSafe : la connecter à un pipeline existant n'est donc pas compliqué.

Ce que disent les tests indépendants

Les benchmarks de Google lui-même semblent convaincants : Decision 1 devance son concurrent Jev 1.14 de TypeSafe dans 5 des 7 tests communs, par exemple 92,2 % contre 90,0 % sur JevBench. Mais Artificial Analysis refroidit le tableau.

• Dans le Decision Index agrégé, le modèle a obtenu 66 points. C'est au niveau d'Elephant 9B et de Jev 1.14, et 7 points sous Drex Max v1.1 et GLiDE v1.2.
• Il est en tête sur AA-Omniscience-Decision (66) et HLE-MultiChoice (49).
• Sur AA-Paperclip, le modèle répond sans aucune erreur à toutes les questions pour seulement 33 % des documents ; pour Drex Max, ce chiffre est de 63 %.
• Le prix pour 1M de tâches est de 345 $, contre 103 $ pour Drex Max et 156 $ pour Jev.
• Le temps moyen par tâche est de 211 ms ; pour Jev, 92 ms.

Un tarif d'entrée bas ne signifie pas une tâche peu coûteuse : d'après le calcul d'AA, le coût du travail réel est supérieur à celui de plusieurs concurrents. Côté vitesse, Jev est presque deux fois plus rapide. L'avantage de Gemini Decision 1 réside dans la multimodalité et la grande fenêtre de 1000 questions par requête, et non dans la qualité absolue.

Que faire de tout cela

Développeurs. Repérez dans votre agent les appels dont la réponse est un choix dans une liste finie : routage, choix d'outil, filtres, extraction depuis des logs. Il vaut la peine de les faire passer par un modèle de décision et de réserver le LLM coûteux au vrai raisonnement. Les seuils de confiance aideront à décider quand escalader.

Product managers. Calculez le coût de la tâche, pas le prix par token. Passez votre jeu de données dans Decision 1, Jev et Drex et comparez la précision, la latence et le prix final sur vos propres données. Les benchmarks des fournisseurs ne sont ici d'aucune aide, comme toujours.

Fondateurs. Le marché des modèles « décisionnels » ne fait que se former, et Google y est entré en même temps que TypeSafe, qui compte déjà des clients payants. Il faut s'attendre à une guerre des prix et à l'apparition rapide de nouveaux concurrents.

Les limites sont évidentes : le modèle ne remplacera pas la génération ; sur des ensembles fermés d'options il est bon, mais sur des documents complexes il est nettement en retrait par rapport aux meilleurs concurrents. Les données proviennent pour l'instant surtout de Google et d'un laboratoire indépendant, il vaut donc mieux décider après un test personnel.