Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
SortieAnalyse · Sur le radarIEEE Spectrum AI→ original

Le nouveau modèle Jev répond en 150 ms, contre 1,89 s pour GPT-6 Astra

Pour décider vite si un e-mail est un spam ou si un commentaire enfreint les règles, inutile de faire écrire du texte à un gros LLM. La start-up TypeSafe AI a lancé Jev : le modèle choisit une option parmi celles qu'on lui fournit (A, B ou C) et répond en moyenne en 150 ms, là où GPT-6 Astra met 1,89 seconde. Il ne peut pas inventer de réponse hors de la liste, mais il se trompe tout de même en mathématiques et sur les problèmes de logique. Mieux vaut donc le réserver aux verdicts simples et laisser les tâches complexes à un gros LLM.

Traité par IA depuis IEEE Spectrum AI ; édité par Hamidun News
Le nouveau modèle Jev répond en 150 ms, contre 1,89 s pour GPT-6 Astra
Source : IEEE Spectrum AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireIEEE Spectrum AI ↗
Rédacteur en chef
Chiffre clé #1Jev facture $0,042 par million de tokens en entrée, la sortie est gratuite
Chiffre clé #2GPT-6 Astra coûte $10 par million de tokens en entrée et $50 par million en sortie
Alternatives ouvertesClef de Cloudflare, basé sur Qwen, et SII-Decision

Si vous faites passer la modération de commentaires, la détection de phishing dans les e-mails ou le tri des demandes par un grand modèle de langage, vous attendez probablement plus longtemps et payez plus que nécessaire. Ces tâches n'exigent pas de texte construit : un verdict court suffit, « oui », « non » ou « option B ». C'est sur ce principe que repose une nouvelle classe de « modèles de décision ».

Le 15 septembre, la start-up TypeSafe AI a lancé le plus connu d'entre eux, Jev. Selon une vérification indépendante, sa latence médiane s'établit à 150 millisecondes, alors que GPT-6 Astra d'OpenAI répondait en 1,89 seconde. Reste à comprendre d'où vient un tel écart et où il s'arrête.

Pourquoi un modèle de décision est rapide

TypeSafe AI qualifie Jev de « modèle Système 1 », en référence au livre de Daniel Kahneman « Système 1, Système 2 : les deux vitesses de la pensée », qui oppose la pensée rapide et intuitive à la pensée lente et réfléchie. Pour l'entreprise, les LLM classiques fournissent la seconde, mais sont trop lents pour la première. La plupart des chercheurs parlent simplement de decision models.

La mécanique est simple. Un LLM génère sa réponse token par token : chaque nouveau token dépend de tous les précédents, jusqu'à la fin de la réponse. Comme l'explique Michelle Chen, de Cloudflare, un modèle de décision ne procède pas ainsi : il lit toute l'entrée en une seule passe et produit immédiatement un unique résultat. À l'intérieur, on retrouve les mêmes transformers (Clef de Cloudflare, par exemple, repose sur Qwen d'Alibaba), mais la sortie est strictement contrainte. Vous fournissez une question et les options A, B et C, et le modèle renvoie un choix, avec les probabilités associées à chaque option.

L'entreprise annonce une latence de bout en bout de 70 à 500 ms. Une équipe de Carnegie Mellon dirigée par Ramaya Krishnan a mesuré une médiane de 150 ms sur les benchmarks RewardBench et JudgeBench. Le tarif diffère lui aussi : Jev facture $0,042 par million de tokens en entrée, la sortie est gratuite. Pour GPT-6 Astra, c'est $10 en entrée et $50 en sortie ; pour la version allégée GPT-6 Luna, $0,10 et $0,50. Les investisseurs ont suivi : TypeSafe AI a levé $870 millions à une valorisation de $7,5 milliards, et Cloudflare, Amazon, OpenAI et Microsoft ont rapidement sorti leurs propres modèles de décision.

De vieux classificateurs dotés d'un nouveau talent

Michelle Chen reconnaît qu'il s'agit presque d'un changement d'étiquette : les classificateurs, comme les filtres antispam ou la reconnaissance faciale, existent depuis longtemps. Mais il fallait auparavant collecter des données pour chaque tâche, monter une équipe de machine learning et ré-entraîner le modèle. Un modèle de décision hérite des connaissances générales d'un LLM. Selon le développeur indépendant Matt Mastracci, on peut donc le « prendre sur l'étagère, le pointer vers sa tâche, et ça marche ».

Cloudflare applique déjà cette approche : elle écarte les demandes de fusion de code (pull requests) indésirables dans les dépôts de documentation, détecte le spam, les e-mails de phishing et les domaines malveillants, repère les attaques par prompt injection contre les LLM, et lit les e-mails signalant des pannes de liaisons dorsales pour déterminer si elles affecteront les services de l'entreprise. Matt Mastracci voit un potentiel dans la modération d'un flux de réseau social ou d'un chat très actif.

Pas d'hallucinations, mais des erreurs

L'affirmation de TypeSafe AI selon laquelle Jev ne peut pas halluciner est formellement exacte. Les LLM inventent parce qu'à chaque étape ils choisissent dans un vocabulaire immense et peuvent faire fausse route. Un modèle de décision calcule des probabilités uniquement parmi les options prédéfinies et retient la plus probable : une réponse hors de la liste est donc impossible.

Mais Ramaya Krishnan prévient : l'absence d'hallucinations dans la sortie ne signifie pas l'absence d'erreurs dans la décision. Jev déterminait bien si une réponse à une question était correcte lorsque cela ressortait du texte lui-même, mais s'en sortait moins bien quand il fallait faire des mathématiques ou résoudre un casse-tête logique. L'étude de Zhongyu Wei, de l'université Fudan, qui présente le modèle ouvert SII-Decision, dresse un tableau similaire : les meilleurs modèles de décision sont légèrement plus précis que les LLM pour la compréhension de documents et s'en approchent pour le choix du bon outil logiciel, mais ils sont à la traîne là où une expertise spécialisée est nécessaire.

Que faire en pratique

Michelle Chen estime que jusqu'à 80% des tâches courantes confiées aux LLM peuvent être transférées à un modèle de décision. Il s'agit d'une estimation de fournisseur, à traiter comme une hypothèse. La vérifier est simple : prenez le journal de vos requêtes, isolez les tâches du type « choisis une option » et passez-les dans Clef ou SII-Decision, qui sont ouverts. Si la qualité sur votre échantillon est comparable, vous gagnerez en vitesse et en coût. Sinon, laissez ces cas au grand modèle.

Dossier

Questions clés sur cet article

Pourquoi un modèle de décision est rapide?

TypeSafe AI qualifie Jev de « modèle Système 1 », en référence au livre de Daniel Kahneman « Système 1, Système 2 : les deux vitesses de la pensée », qui oppose la pensée rapide et intuitive à la pensée lente et réfléchie. Pour l'entreprise, les LLM classiques fournissent la seconde, mais sont trop lents pour la première. La plupart des chercheurs parlent simplement de decision models. La mécanique est simple.

Que sait-on sur De vieux classificateurs dotés d'un nouveau talent ?

Michelle Chen reconnaît qu'il s'agit presque d'un changement d'étiquette : les classificateurs, comme les filtres antispam ou la reconnaissance faciale, existent depuis longtemps. Mais il fallait auparavant collecter des données pour chaque tâche, monter une équipe de machine learning et ré-entraîner le modèle. Un modèle de décision hérite des connaissances générales d'un LLM. Selon le développeur indépendant Matt Mastracci, on peut donc le « prendre sur l'étagère, le pointer vers sa tâche, et ça marche ».

Que sait-on sur Pas d'hallucinations, mais des erreurs ?

L'affirmation de TypeSafe AI selon laquelle Jev ne peut pas halluciner est formellement exacte. Les LLM inventent parce qu'à chaque étape ils choisissent dans un vocabulaire immense et peuvent faire fausse route. Un modèle de décision calcule des probabilités uniquement parmi les options prédéfinies et retient la plus probable : une réponse hors de la liste est donc impossible. Mais Ramaya Krishnan prévient : l'absence d'hallucinations dans la sortie ne signifie pas l'absence d'erreurs dans la décision.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…