Cloudflare lance Auto Router : le choix du modèle à la place de l'employé, jusqu'à 30 % d'économies

Cloudflare lance en bêta publique Auto Router, une fonction d'AI Gateway qui choisit elle-même le modèle pour chaque requête. Dans le client ou l'agent, il suffit d'indiquer cloudflare/auto. La passerelle décide ensuite si la tâche exige un modèle phare ou si un modèle moins cher suffit. Dans son usage interne via l'outil agentique OpenCode, l'entreprise a obtenu jusqu'à 30 % d'économies par rapport à l'utilisation exclusive de modèles phares. Sur son propre benchmark de tâches bureautiques, le routeur a coûté 2,10 $ contre 5,91 $ pour Claude Opus 5.5, mais il lui est inférieur en taux d'exécutions réussies.

La passerelle choisit le modèle à la place de l'employé

L'ancienne logique de maîtrise des dépenses d'IA reposait sur des budgets, des plafonds et l'attribution des coûts à des personnes précises. Cloudflare décrit ainsi le parcours type des entreprises. D'abord, les clés API sont distribuées librement et chaque nouvel outil est testé. Ensuite, il ne reste que quelques solutions principales pour le code, les tâches non techniques et le lancement d'agents. Mais dans OpenCode, Claude Code et Codex, c'est toujours l'utilisateur qui choisit le modèle, et il en prend souvent un trop puissant. Inutile de recourir à Opus pour résumer un e-mail ou une conversation de chat. Le bloquer pour l'équipe de sécurité n'est pas souhaitable non plus.

AI Gateway voit déjà chaque requête des utilisateurs, des agents et des outils : il peut donc prendre cette décision de façon centralisée. L'entreprise réalise l'économie sans que les employés aient à changer leurs habitudes.

Un schéma en deux étapes : classificateur et matrice de scores

La passerelle commence par constituer un pool de modèles admissibles. Elle écarte ceux qui ne prennent pas en charge le format de la requête ou le mode d'exécution, et tient compte des clés, des paramètres de facturation, des politiques d'accès et des plafonds de dépenses. Les modèles et les fournisseurs en panne sont temporairement exclus, puis réintégrés une fois le service rétabli.

Vient ensuite un classificateur multi-têtes sur Workers AI, déployé sur des GPU dans tout le réseau edge de Cloudflare. Il analyse un extrait condensé de la conversation, en privilégiant les répliques les plus récentes, et produit deux séries de signaux. La première : des probabilités sur 14 catégories de tâches, dont le code, la planification, la recherche et l'analyse de données. La seconde : des notes de 1 à 5 sur quatre axes, à savoir la complexité, l'ambiguïté, le coût d'une erreur et la dépendance au contexte précédent.

Ces signaux sont injectés dans une matrice de scores distincte, où ils sont combinés aux benchmarks des modèles. Les poids sont calibrés sur un ensemble d'exemples pour lesquels le modèle préférable a été déterminé à l'avance. Le résultat se calcule avec la formule utility = qualité attendue − pénalité de coût adaptative. Sur les requêtes simples, le prix pèse davantage et un modèle plus petit l'emporte. Quand la complexité augmente, la pénalité diminue et les modèles puissants gagnent. En sortie, le routeur fournit une liste classée ; la passerelle essaie le premier modèle et passe au suivant en cas de défaillance du fournisseur.

L'atout de ce schéma est sa transparence : on peut consulter la catégorie et la complexité prédites pour la tâche et comprendre pourquoi tel modèle a été retenu. Un nouveau modèle s'ajoute sans réentraînement : il suffit de saisir dans la matrice les poids issus de ses benchmarks.

Le cache, un poste de dépense caché

Dans les longues sessions agentiques, par exemple lors du débogage, ce n'est pas la grille tarifaire qui détermine les coûts, mais la lecture du cache, qui renchérit avec la longueur de la session. Changer de modèle vide le cache, et le nouveau modèle doit réécrire tout le contexte. C'est pourquoi, au sein d'un même tour (le cycle de traitement d'une saisie utilisateur), le routeur reste presque toujours sur le modèle courant. Entre deux tours, il applique une pénalité de changement qui croît avec le nombre de tokens du contexte. Le modèle dont le cache est actif est évalué au tarif de lecture, tandis que les autres candidats le sont au prix complet de réécriture du contexte.

Il existe un second coût caché : la plupart des modèles ne lisent pas les tokens de raisonnement des autres. Après un changement, le nouveau modèle peut refaire ce qui a déjà été fait, mais au tarif des tokens de sortie. À l'avenir, Cloudflare veut que le routeur privilégie les modèles de la même famille lors d'un changement.

Ce que montre le benchmark interne

Le test simule un espace de travail avec messagerie, calendrier, Slack, fichiers, déplacements et finances. Chaque tâche exige de fournir une réponse vérifiable ou d'exécuter une action. Le test compte 97 tâches, avec trois passages par modèle, soit 291 tentatives. Les intervalles de confiance à 95 % sont calculés par bootstrap sur 10 000 échantillons.

• cloudflare/auto : 252 réussites sur 291, 86,6 % (+6,2/−6,9 points de pourcentage), coût total de 2,10 $, 0,0084 $ par réussite • Anthropic Claude Opus 5.5 : 281 sur 291, 96,6 % (+2,7/−3,8 points de pourcentage), 5,91 $, 0,0210 $ par réussite • OpenAI GPT-6 Sol : 245 sur 291, 84,2 % (+6,5/−6,9 points de pourcentage), 2,64 $, 0,0108 $ par réussite

Cloudflare juge le résultat comparable à celui des meilleurs modèles du quotidien : le routeur coûte 80 % du prix de Sol et 35 % de celui d'Opus. Mais il faut lire ces chiffres attentivement. Face à Sol, auto offre une qualité comparable pour un coût inférieur.

Face à Opus, il accuse un retard d'environ 10 points de pourcentage, et les intervalles ne se chevauchent pas : l'économie d'un facteur 2,5 par réussite se paie donc par une perte de qualité. Pour la synthèse de texte et les requêtes courantes, le compromis est acceptable ; pour les tâches critiques, non. L'entreprise note par ailleurs qu'un modèle bon marché au tarif affiché peut consommer bien plus de tokens, de façon disproportionnée.

Le routeur minimise donc le coût prévisionnel de toute la trajectoire, et non le prix par million de tokens.

Comment l'activer et la suite

On peut commencer dès maintenant : pendant la bêta, Auto Router est gratuit, et il suffit d'indiquer cloudflare/auto dans les paramètres de l'agent ou du client. Il est logique d'y faire passer d'abord les scénarios non techniques et le code courant, et de laisser les tâches où une erreur coûte cher sur un modèle phare. Cela suppose de disposer de son propre benchmark sur des données réelles, comme l'a fait Cloudflare.

Au programme : élargir le pool de modèles, prendre en compte les exigences de zero data retention lors du filtrage, tenir compte de la capacité des fournisseurs, choisir le niveau de raisonnement pour chaque requête, ajouter la prise en charge complète de l'API Responses et des WebSockets, et tester des modèles de décision structurés comme classificateur primaire. Plus tard, cloudflare/auto-best utilisera le même pool et le même classificateur, mais choisira le modèle offrant la qualité attendue maximale, sans considération de prix.