Les modèles de décision ont représenté 26 % des requêtes de Vercel AI Gateway pour 0,53 % des dépenses

Votre service reçoit la demande d'un client et doit choisir : l'envoyer au support, la transmettre à un commercial ou demander des précisions. Pour cela, il n'est pas toujours nécessaire qu'un grand modèle de langage analyse toute la conversation. Parfois, une courte décision parmi quelques options suffit. D'après le rapport de novembre de Vercel, ces tâches génèrent déjà 26 % des requêtes d'AI Gateway pour seulement 0,53 % des dépenses estimées.

C'est une bonne occasion de repenser l'architecture d'un produit d'IA. Si le modèle rédige des réponses, trie les demandes et choisit les actions suivantes à la fois, il vaut la peine de mesurer séparément le coût de chaque étape. Une partie du travail pourrait peut-être être confiée à des modèles spécialisés moins chers.

Les décisions courtes sont devenues un poste de trafic à part

Vercel appelle decision models les modèles qui classent des données, attribuent des scores ou choisissent entre plusieurs options. Au lieu d'une réponse développée, l'application obtient un résultat bref, exploitable par l'étape suivante du programme. Selon l'estimation de l'entreprise, une requête moyenne à ces modèles coûte environ 70 fois moins cher qu'une requête à un modèle de langage.

Prenons une boutique en ligne. Un acheteur écrit : « Ma commande n'est pas arrivée, je veux être remboursé ». Dans un premier temps, le système doit déterminer le type de demande. Il peut ensuite transmettre le message au bon gestionnaire, récupérer les informations sur la commande et seulement alors préparer une réponse détaillée. La génération de texte reste là où elle est utile, tandis que l'acheminement devient une opération distincte.

En octobre, près d'un tiers des équipes payantes de la passerelle ont utilisé ces modèles. Parmi les équipes dépassant 10 milliards de tokens par mois, la part atteignait 70 %. À grande échelle, même une petite économie sur une seule action modifie sensiblement la facture globale.

Mais un détail important s'impose : presque tout le trafic de cette catégorie provient de Jev, de TypeSafe AI. Le chiffre de 26 % reflète donc avant tout l'usage intensif d'un produit précis au sein d'une passerelle précise. Il ne prouve pas encore que des dizaines de fournisseurs indépendants ont trouvé une demande de masse.

Anthropic attire de nouvelles équipes, OpenAI capte davantage de dépenses

En termes de couverture des équipes payantes, OpenAI et Anthropic sont presque à égalité : en octobre, leurs modèles ont été utilisés par 55 % et 54 % des équipes respectivement. Ces parts se recoupent : une même équipe peut travailler avec les deux entreprises.

Parmi les nouvelles équipes, Anthropic est devenu le fournisseur principal près de deux fois plus souvent qu'OpenAI. La définition compte ici : Vercel considère comme principal le fournisseur auquel l'équipe a envoyé le plus de requêtes aux modèles de langage durant son premier mois. Il ne s'agit ni d'un contrat d'exclusivité ni d'un choix définitif de pile technologique.

Parallèlement, la part d'OpenAI dans les dépenses de la passerelle est passée d'environ 9 % en décembre à 15 % en octobre. Celle d'Anthropic a diminué d'environ de moitié sur la même période, à 32 %, bien que l'entreprise conserve la première place pour cet indicateur. Parmi le 1 % des équipes les plus dépensières, plus de 90 % utilisent les deux fournisseurs.

Pour un fondateur, le signal est concret : la popularité lors de la première connexion et le volume de travail payé sont deux indicateurs différents. On ne peut pas juger de l'un d'après l'autre avec certitude.

Les modèles changent plus vite que l'architecture des produits

Plus de la moitié des requêtes aux modèles de langage d'octobre ont été adressées à des versions apparues sur la passerelle depuis moins de 60 jours. Environ la moitié des équipes dépassant 10 millions de tokens ont changé de modèle principal en un mois. Parmi celles qui ont changé, 60 % sont passées à un autre laboratoire.

Cette mobilité rend utiles un jeu de tâches d'évaluation propre et la possibilité de changer de fournisseur sans refaire la logique métier. Avant de remplacer un modèle, il convient de comparer la qualité sur des demandes réelles, la latence et le coût d'un résultat réussi. Une requête bon marché n'aide guère si elle nécessite ensuite une vérification manuelle.

Le rapport a ses limites. Il décrit le trafic anonymisé de Vercel AI Gateway pour octobre, et les dépenses sont estimées d'après les tarifs publics. La taille des équipes est déterminée par le volume de tokens ; le nombre absolu d'équipes n'est pas indiqué dans le texte fourni. On ne dispose pas non plus de données sur la qualité des décisions ni sur des latences comparables.

Une prochaine étape raisonnable consiste donc à choisir une tâche de classification fréquente, à rassembler des exemples réels et à comparer un modèle spécialisé avec la solution actuelle. C'est ce test qui montrera si l'impressionnante statistique de la passerelle se traduit en économies pour votre produit.