Cloudflare va montrer où les équipes surpaient pour des modèles d'IA trop puissants
La facture d'IA grimpe, mais les tokens ne disent pas à quoi l'argent a servi. Cloudflare ajoute à AI Gateway une section Overkill : elle détecte les conversations où une tâche simple, comme la mise en forme ou un résumé court, a été confiée à un modèle de raisonnement lourd. On y voit aussi les utilisateurs et agents concernés, le coût, la latence et le nombre de réplies. L'équipe peut ainsi plus facilement décider où changer le modèle par défaut.
Traité par IA depuis Cloudflare AI Blog ; édité par Hamidun News
Quelques semaines après le déploiement de l'IA dans une entreprise, la même histoire se répète presque toujours : les dépenses augmentent, une partie des requêtes répond plus lentement, et impossible de comprendre pourquoi. Les développeurs ont peut-être abordé du code plus complexe. Les agents ont peut-être multiplié les appels de clarification inutiles. Ou un petit groupe de personnes consomme beaucoup plus que sa part. Les compteurs de tokens et de requêtes ne distinguent pas ces cas. Cloudflare veut combler cette lacune avec une mise à jour de User Insights dans son AI Gateway.
Ce que montre concrètement la section Overkill
User Insights est apparu dans AI Gateway un mois plus tôt. Il indiquait quels utilisateurs, applications et modèles génèrent du trafic, et signalait les anomalies de dépenses. Désormais, on y ajoute du contexte : quel type de travail se cache derrière une requête ? S'agit-il de revue de code, de recherche, ou d'un agent qui enchaîne plusieurs appels ?
La section Overkill recherche les conversations où le modèle choisi semble plus puissant que la tâche ne l'exige. L'exemple typique : une mise en forme de texte ou un résumé court part vers un modèle de raisonnement coûteux. L'analogie du quotidien est simple : transporter un seul paquet de lait avec un camion. Ça fonctionne, mais c'est cher.
Cloudflare souligne qu'il ne s'agit ni d'un classement des modèles ni d'une recommandation automatique de remplacement. La section aide à poser des questions. Le modèle convient-il à la tâche ? La puissance supplémentaire améliore-t-elle le résultat ? Un modèle rapide et bon marché suffirait-il ? Le problème vient-il d'un processus, d'un utilisateur ou d'un agent précis ? Les causes peuvent varier : le modèle par défaut est imposé, les équipes ne savent pas quoi choisir, ou un agent utilise le même modèle à chaque étape.
À côté fonctionne la vue Potential Savings. Elle affiche les requêtes qui pourraient être confiées à un modèle plus rapide ou moins cher sans perte de qualité. On peut aussi comparer, pour un type de tâche donné, la latence, les tokens d'entrée et de sortie, le nombre de réplies et le coût final.
Comment le service comprend le type de tâche
L'analyse regroupe les conversations par catégories : programmation, recherche, rédaction de textes, résumé et analyse de données. Le nombre de réplies est analysé séparément. Une conversation longue n'est pas forcément mauvaise, surtout pour un travail complexe. Mais si une tâche simple exige sans cesse plusieurs allers-retours, il faut revoir le prompt, le modèle ou le processus. Le coût d'une tâche ne se résume d'ailleurs pas à la première requête : il inclut tout le temps, les tokens et l'argent dépensés jusqu'au résultat final.
Techniquement, la classification est effectuée par un Cloudflare Worker dédié. Il lit la trajectoire de la conversation : requêtes de l'utilisateur, réponses de l'assistant, appels d'outils et leurs résultats. En sortie, on obtient une catégorie, un score de confiance et plusieurs paramètres : complexité de la tâche, ambiguïté de l'intention, coût d'une erreur et dépendance au contexte.
Réserve importante sur la sécurité : les métadonnées sont stockées séparément des corps des logs (Durable Objects pour les métadonnées, R2 pour les corps). Le tableau de bord affiche des catégories dérivées et des agrégats, et non les prompts eux-mêmes. La durée de conservation des logs bruts dépend des réglages actuels d'AI Gateway, il est donc conseillé de les vérifier à l'avance.
Autre limite : la classification est asynchrone. Elle se lance après le traitement de la requête et n'ajoute aucune latence pour l'utilisateur. En revanche, les données du tableau de bord peuvent accuser un retard d'environ un jour. C'est un outil d'analyse des tendances, et non de surveillance du trafic en temps réel.
Qui apparaît dans le rapport, et le rôle d'Auto Router
Pour relier les dépenses aux personnes, AI Gateway s'appuie sur l'identification. Pour les applications maison, la requête doit contenir des user_id et session_id stables, ainsi qu'éventuellement un groupe et un nom d'application dans l'en-tête cf-aig-metadata. Cloudflare conseille de transmettre des identifiants non personnels et de ne pas inscrire de données sur les personnes dans le prompt. Pour des outils comme Claude Code, Codex et OpenCode, il suffit de placer AI Gateway derrière Cloudflare Access : le contexte de l'utilisateur et de la session est alors récupéré automatiquement. Access est gratuit pour les équipes de jusqu'à 50 personnes.
La seconde partie de la version est Auto Router. Il exploite les mêmes signaux (trajectoire de la conversation, catégorie, complexité et adéquation du modèle à la tâche) et choisit lui-même le modèle en tenant compte du coût. L'idée : ne pas écrire une règle de routage distincte pour chaque scénario. Le code complexe ou la recherche peuvent toujours être confiés à un modèle puissant, tandis que les tâches simples vont vers un modèle rapide et bon marché. Dans l'annonce, Auto Router est présenté comme étant en bêta, publique et fermée ; l'inscription à la bêta passe par un billet distinct de Cloudflare, il faut donc vérifier séparément son accès.
Que faire en pratique
Si vos agents et vos collaborateurs utilisent un même modèle haut de gamme, commencez par vérifier : quelle part du trafic correspond à des résumés, de la mise en forme et de la classification, et combien de réplies ces tâches demandent-elles ? Si la plupart des conversations se règlent en un seul tour, c'est un candidat évident pour un modèle moins cher. Cloudflare ne publie pas de chiffres d'économies : il faudra vérifier l'hypothèse sur vos propres données. L'approche reste néanmoins pertinente : comprendre le travail avant de choisir le modèle. Toutes les fonctions décrites de User Insights sont gratuites pour les utilisateurs d'AI Gateway.
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
- 21 nov. 202622 agents Claude ont cherché pendant six semaines des réponses sur les trous noirs — et ont résolu deux problèmes
- 21 nov. 2026Google a construit une copie fermée d'internet avec de fausses banques pour entraîner les agents IA de Chrome
Questions clés sur cet article
Que sait-on sur Ce que montre concrètement la section Overkill ?
User Insights est apparu dans AI Gateway un mois plus tôt. Il indiquait quels utilisateurs, applications et modèles génèrent du trafic, et signalait les anomalies de dépenses. Désormais, on y ajoute du contexte : quel type de travail se cache derrière une requête ? S'agit-il de revue de code, de recherche, ou d'un agent qui enchaîne plusieurs appels ? La section Overkill recherche les conversations où le modèle choisi semble plus puissant que la tâche ne l'exige.
Comment le service comprend le type de tâche?
L'analyse regroupe les conversations par catégories : programmation, recherche, rédaction de textes, résumé et analyse de données. Le nombre de réplies est analysé séparément. Une conversation longue n'est pas forcément mauvaise, surtout pour un travail complexe. Mais si une tâche simple exige sans cesse plusieurs allers-retours, il faut revoir le prompt, le modèle ou le processus.
Que sait-on sur Qui apparaît dans le rapport, et le rôle d'Auto Router ?
Pour relier les dépenses aux personnes, AI Gateway s'appuie sur l'identification. Pour les applications maison, la requête doit contenir des user_id et session_id stables, ainsi qu'éventuellement un groupe et un nom d'application dans l'en-tête cf-aig-metadata. Cloudflare conseille de transmettre des identifiants non personnels et de ne pas inscrire de données sur les personnes dans le prompt.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.