Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieArticle R&D · Pour R&DTechCrunch→ original

Les modèles de décision captent plus de 25 % des requêtes du routeur Vercel un mois après leur apparition

Les modèles de décision sont des LLM qui n'écrivent pas de texte. Ils choisissent rapidement, à moindre coût, l'une des options prédéfinies et indiquent leur niveau de confiance. En octobre, ils ont représenté plus de 25 % des requêtes du routeur Vercel, alors que cette classe de modèles n'existe que depuis un mois. Microsoft a lancé son propre modèle sur Azure, et la start-up Sqwish a levé 3 millions de dollars pour affiner (fine-tuning) son modèle sur les données de chaque client. Mieux vaut donc comparer ces modèles sur son propre trafic plutôt que sur des benchmarks.

Traité par IA depuis TechCrunch ; édité par Hamidun News
Les modèles de décision captent plus de 25 % des requêtes du routeur Vercel un mois après leur apparition
Source : TechCrunch. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTechCrunch ↗
Rédacteur en chef
TypeSafe Jeven une semaine, plus de 1,5 milliard de requêtes via OpenRouter
Chiffre clé #2Sqwish (kettei fat) a levé 3 millions de dollars en pre-seed et affine son modèle sur les données du client
Chiffre clé #3Microsoft-Decision-1.1 est disponible sur Azure dès l'annonce de Satya Nadella

Si vous construisez un produit sur des LLM, vous avez sûrement des tâches pour lesquelles un grand modèle est disproportionné. Déterminer la catégorie d'un ticket. Décider si une requête doit aller vers un modèle coûteux ou si un modèle bon marché suffit. Repérer un spam. Pour ces usages, une nouvelle classe de modèles est apparue le mois dernier, et sa progression est fulgurante : selon TechCrunch, en octobre, plus d'une requête sur quatre dans le routeur d'IA de Vercel n'est pas allée vers des LLM classiques, mais vers des modèles de décision.

Qu'est-ce qu'un modèle de décision ?

C'est un LLM qui ne génère pas de réponse sous forme de texte. On le configure pour qu'il exploite son « intelligence » générale afin de choisir vite et à bas coût parmi des options définies à l'avance, tout en indiquant son degré de confiance dans ce choix. Imaginez un administrateur de permanence qui, plutôt que de vous écrire un courrier, coche la bonne case et ajoute : « sûr à 90 % ». En production, c'est pratique : quand la décision doit tomber en une fraction de seconde et pour quelques centimes, un modèle frontier lent et coûteux, avec de longs raisonnements, ne fait que gêner.

La rapidité du phénomène est frappante. TypeSafe vaut désormais 7,5 milliards de dollars depuis la sortie de la famille de modèles Jev, qui reste en tête pour l'usage, du moins là où les métriques sont visibles. Par exemple, la semaine dernière, les modèles de TypeSafe ont reçu plus de 1,5 milliard de requêtes via OpenRouter. Mais fabriquer un tel modèle s'est révélé peu compliqué : des dizaines d'équivalents ont suivi Jev, un ingénieur d'Amazon a assemblé le sien en un week-end, et chaque hyperscaler dispose désormais de sa propre variante. Mardi, Satya Nadella a annoncé que Microsoft lançait d'emblée Microsoft-Decision-1.1 pour un usage à grande échelle sur Azure.

Les données comptent plus que l'architecture

Si un tel modèle est facile à produire, comment se démarquer ? Le dirigeant de TypeSafe, Diogo Almeida, explique que le plus difficile, avec Jev, a été le calibrage fin des jugements sur des données synthétiques avec correction statistique. Autrement dit, ce que le modèle choisit compte, mais aussi la justesse avec laquelle il évalue sa propre confiance.

La start-up britannique Sqwish, créatrice du modèle kettei fat, mise sur la personnalisation. Elle a annoncé aujourd'hui un tour de pre-seed de 3 millions de dollars. Les cofondateurs Ushnish Sengupta et Federica Freddi se sont rencontrés à Cambridge, où ils travaillaient sur de petits LLM. Quand Jev est sorti, ils ont compris que leurs architectures pouvaient être réadaptées en modèle de décision. L'atout de Sqwish : des outils de fine-tuning intégrés. Le client charge ses données de production, et le modèle s'améliore précisément sur ses tâches. Selon le CEO, c'est ce qui distingue l'entreprise d'un produit banalisé : les clients disposent du même levier que celui qui a servi aux créateurs à entraîner leurs modèles.

Les benchmarks ne sont qu'une invitation

Comparer ces modèles à partir de tableaux de résultats est difficile. kettei fat s'est bien comportée sur certains benchmarks, mais ses développeurs reconnaissent eux-mêmes qu'il faut vérifier en conditions réelles. Remplacer un modèle par un autre dans un scénario donné est généralement simple. Sengupta qualifie le benchmark d'« invitation à essayer », et c'est le fine-tuning continu qui doit retenir le client.

Achint Srivastava, vice-président de l'ingénierie de Microsoft et responsable du projet, a exprimé une idée similaire. Selon lui, les modèles sur-optimisés pour les benchmarks échouent vite en exploitation réelle en entreprise. Microsoft-Decision-1.1 équilibre coût, latence, intelligence et calibrage. Avec Jev, elle serait, d'après l'entreprise, l'un des rares modèles performants sur ces quatre axes, y compris sur des tests mis de côté (hold-out) proches de scénarios réels. Attention : il s'agit d'une affirmation de Microsoft elle-même, et l'article ne cite aucune comparaison indépendante.

Ce que cela change pour les développeurs

Federica Freddi prédit qu'à l'avenir, le « Système 1 » (les modèles de décision rapides) fonctionnera en tandem avec le « Système 2 », c'est-à-dire les LLM frontier lourds. Même dans ce cas de figure, estime-t-elle, le marché du « Système 1 » pourrait valoir 10–50 milliards de dollars. Pour Sqwish, c'est la seule activité, alors que pour OpenAI, ce n'est qu'un projet annexe. Cette prévision est, bien sûr, celle d'une start-up et ne constitue pas une garantie.

La conclusion pratique est simple. Si une partie de votre trafic relève de la classification et du routage, essayez de la confier à un modèle de décision : c'est moins cher et plus rapide. Choisissez sur vos propres données, pas sur les classements : remplacer un modèle est facile, alors testez deux ou trois variantes sur des requêtes réelles. Ne regardez pas seulement la précision, mais aussi le calibrage de la confiance : c'est lui qui vous permettra de décider quand transmettre une tâche au modèle lourd. Enfin, intéressez-vous aux acteurs qui proposent un fine-tuning sur vos données, car c'est là, à en juger par le marché, que se jouera la concurrence.

Dossier

Questions clés sur cet article

Qu'est-ce qu'un modèle de décision ?

C'est un LLM qui ne génère pas de réponse sous forme de texte. On le configure pour qu'il exploite son « intelligence » générale afin de choisir vite et à bas coût parmi des options définies à l'avance, tout en indiquant son degré de confiance dans ce choix. Imaginez un administrateur de permanence qui, plutôt que de vous écrire un courrier, coche la bonne case et ajoute : « sûr à 90 % ».

Que sait-on sur Les données comptent plus que l'architecture ?

Si un tel modèle est facile à produire, comment se démarquer ? Le dirigeant de TypeSafe, Diogo Almeida, explique que le plus difficile, avec Jev, a été le calibrage fin des jugements sur des données synthétiques avec correction statistique. Autrement dit, ce que le modèle choisit compte, mais aussi la justesse avec laquelle il évalue sa propre confiance. La start-up britannique Sqwish, créatrice du modèle kettei fat, mise sur la personnalisation.

Que sait-on sur Les benchmarks ne sont qu'une invitation ?

Comparer ces modèles à partir de tableaux de résultats est difficile. kettei fat s'est bien comportée sur certains benchmarks, mais ses développeurs reconnaissent eux-mêmes qu'il faut vérifier en conditions réelles. Remplacer un modèle par un autre dans un scénario donné est généralement simple. Sengupta qualifie le benchmark d'« invitation à essayer », et c'est le fine-tuning continu qui doit retenir le client.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…