Cloudflare publie les modèles open source Clef : 98,5% sur BFCL et 38,8 ms

Cloudflare entre sur le marché des modèles de décision : l'entreprise a publié Clef et Clef-flash, deux modèles maison qui, au lieu de raisonner et de générer du texte, renvoient des réponses strictement typées accompagnées de probabilités. Les deux sont disponibles sur Workers AI et compatibles avec l'API Jev de Typesafe AI, et leurs poids sont hébergés sur Hugging Face sous licence Apache 2.0. Selon Cloudflare, Clef occupe actuellement la première place du Jev Decision Index. L'entreprise lance en parallèle un service de fine-tuning par RL : d'abord assuré à la main par des ingénieurs FDE, puis proposé plus tard sous forme de plateforme en libre-service.

Décider plutôt que raisonner

Un modèle de décision reçoit en entrée un état (par exemple, un message adressé au support) et une série de questions : est-ce urgent, quelle équipe doit s'en charger, quel est le niveau d'impact. En sortie, il produit un JSON typé avec des probabilités, que le code exploite pour router le ticket, déclencher une escalade ou passer la main à un humain. Le modèle fonctionne avec un ensemble arbitraire de catégories, sans nouvel entraînement pour chacune.

Chez Cloudflare, Clef est déjà testé par l'équipe Threat Intelligence pour classer des domaines. Via Browser Run, le modèle récupère une page, en effectue le rendu et renvoie un ensemble de catégories : disons 95% mode, 85% e-commerce, moins de 1% hameçonnage. Tout le cycle prend 2,2 s. Dans le même scénario, gpt-oss-120b, le LLM généraliste le plus rapide de l'entreprise, a mis 4,7 s et n'a renvoyé que deux catégories.

Architecture de Clef et différences avec Jev

La base est un modèle Qwen gelé : Qwen3.8-27B pour Clef et Qwen3.5-9B pour Clef-flash. Une tête de routage et des adaptateurs de faible rang rank-256 sont entraînés par-dessus. L'inférence se résume à une seule passe de prefill, après laquelle les variantes valides du schéma sont évaluées en parallèle. Le décodage est non autorégressif : les tokens ne sont pas générés un par un, ce qui explique le gain de vitesse. Les options de réponse commencent par collecter le contexte pertinent, puis les champs s'accordent une attention croisée entre eux et avec les données d'entrée ; le scoring n'intervient qu'à la fin.

L'entraînement repose sur une cross-entropy avec label smoothing et une Brier loss pour calibrer les probabilités, sur des données synthétiques internes avec permutation des champs, des prompts et des schémas. La seconde étape est le RLCD (Reinforcement Learning for Calibrated Decisions) : crédit partiel pour les options ordinales voisines, récompense pour les enregistrements parfaitement exacts et pénalité en cas d'écart par rapport à la référence.

Il y a trois différences avec Jev :

• un encodeur visuel, donc la classification d'images (Jev ne traite pour l'instant que du texte) ;
• un contexte de 64k contre 32k ;
• des poids publics sous Apache 2.0 et un déploiement sur les GPU de Cloudflare en périphérie du réseau.

Les chiffres des benchmarks

Les valeurs sont présentées dans l'ordre Clef / Clef-flash / Jev :

• BFCL (case exact) : 98,47 / 98,76 / 95,75
• ToolRet (nDCG@10) : 69,19 / 66,43 / 65,28
• API-Bank (accuracy) : 91,93 / 93,11 / 88,19
• Home appliances (case exact) : 82,95 / 97,73 / 52,27
• When2Call (accuracy) : 72,37 / 65,58 / 80,97
• BANKING77 (macro-F1) : 94,20 / 90,93 / 79,74
• CLINC150+OOS (macro-F1) : 97,43 / 66,77 / 89,27
• BRIGHT (nDCG@10) : 45,91 / 39,26 / 47,52
• Amazon ESCI (macro-F1) : 57,48 / 57,39 / 55,21
• PhishNChips (accuracy) : 79,60 / 75,05 / 62,55

Sur le jeu de tests propre à Typesafe, Clef devance Jev dans trois domaines sur quatre : traitement des factures (64,7 contre 61,8), support client (76,3 contre 76,0) et incidents de sécurité (62,9 contre 61,7). Sur l'observabilité des traces agentiques, Jev reste en tête : 71,6 contre 68,5 pour Clef et 69,8 pour Clef-flash. À noter que Jev l'emporte aussi sur When2Call et sur BRIGHT : difficile donc de parler de déroute.

Côté latence, sur 43 benchmarks, la médiane de Clef s'établit à 209,3 ms (p95 : 238,6 ms), Clef-flash descend à 38,8 ms (p95 : 122,4 ms) et Jev affiche 524,1 ms (p95 : 536,0 ms). Pour DiffusionGemma Jev, on obtient 84,4 et 211,2 ms, pour Kev-9B 51,4 et 187,9 ms, pour Laya 5,8 et 222,5 ms. Laya est la plus rapide en médiane, mais sa qualité décroche nettement : par exemple, 38,13 sur BFCL.

Plateforme de RL et suite de la feuille de route

L'entreprise assemble une chaîne à partir de briques existantes. AI Gateway enregistre le trafic et le transforme en dataset, Workers AI génère les rollouts sur la Clef de base, Containers sert de bac à sable pour le scoring et la rediffusion des actions des agents, un nouveau composant, Trainer, met à jour les poids, et Workers AI avec Bring Your Own Model (Cog, héritage du rachat de Replicate) redéploie le résultat. Pour l'instant, le service passe par l'équipe de forward-deployed engineers ; la plateforme en libre-service arrivera plus tard.

Des cas d'usage internes existent déjà : évaluation des signalements Trust & Safety, triage des demandes au support, et, dans les produits Bot, décision sur la nature d'un crawler : bon ou mauvais. Cloudflare dispose pour cela de plus de 15 ans de données réseau annotées.

Pour les développeurs d'agents, la conclusion pratique est simple : si le pipeline comporte un embranchement du type « urgent ou non », « quel service », « hameçonnage ou site légitime », il est moins coûteux de placer un modèle de décision sur le chemin critique et de ne solliciter un LLM que pour l'action elle-même. La migration depuis Jev se résume à changer de modèle dans la requête, les poids peuvent être téléchargés et exécutés en local, et les entreprises qui disposent d'un gros volume de décisions annotées gagneraient à se pencher sur le fine-tuning. Cloudflare ne lit pas les données des clients, ne les stocke pas et ne les utilise pas pour l'entraînement, sauf lorsque le client utilise lui-même le service de fine-tuning.