Cloudflare lanza los modelos open source Clef: 98,5% en BFCL y 38,8 ms

Cloudflare entra en el mercado de los modelos de decisión: la compañía ha lanzado Clef y Clef-flash, dos modelos propios que, en lugar de razonar y generar texto, devuelven respuestas estrictamente tipadas con probabilidades. Ambos están disponibles en Workers AI y son compatibles con la API de Jev, de Typesafe AI. Los pesos están en Hugging Face con licencia Apache 2.0. Según Cloudflare, Clef lidera actualmente el Jev Decision Index. Además, la compañía lanza un servicio de reentrenamiento con RL: primero con ingenieros FDE trabajando a mano y, más adelante, como plataforma self-serve.

Decisión en lugar de razonamiento

Un modelo de decisión recibe como entrada un estado (por ejemplo, un mensaje a soporte) y un conjunto de preguntas: si es urgente, qué equipo debe encargarse, qué gravedad tiene el impacto. La salida es un JSON tipado con probabilidades, a partir del cual el código enruta el ticket, activa una escalada o pasa la tarea a una persona. El modelo trabaja con un conjunto arbitrario de categorías, sin reentrenarlo para cada categoría nueva.

Dentro de Cloudflare, el equipo de Threat Intelligence ya prueba Clef para clasificar dominios. A través de Browser Run, el modelo recibe una página, la renderiza y devuelve un conjunto de categorías: por ejemplo, 95% moda, 85% e-commerce y menos de 1% phishing. Todo el ciclo lleva 2,2 s. La LLM generalista más rápida de la compañía, gpt-oss-120b, tardó 4,7 s en el mismo escenario y devolvió solo dos categorías.

Cómo está construida Clef y en qué se diferencia de Jev

La base es un modelo Qwen congelado: Qwen3.8-27B para Clef y Qwen3.5-9B para Clef-flash. Encima se han entrenado una cabeza de enrutamiento y adaptadores de bajo rango rank-256. La inferencia consiste en una sola pasada de prefill, tras la cual se evalúan en paralelo las variantes válidas del esquema. La decodificación no es autorregresiva: los tokens no se generan uno a uno, y de ahí viene la ganancia de velocidad. Primero, las opciones de respuesta recopilan el contexto relevante; después, los campos se prestan atención entre sí y a los datos de origen, y solo entonces se hace el scoring.

El entrenamiento usa label-smoothed cross-entropy y Brier loss para calibrar las probabilidades, sobre datos sintéticos internos con permutaciones de campos, prompts y esquemas. La segunda etapa es RLCD (Reinforcement Learning for Calibrated Decisions): puntuación parcial para variantes ordinales vecinas, recompensa por los registros totalmente exactos y penalización por desviarse de la referencia.

Las diferencias con Jev son tres:

• un codificador visual, es decir, clasificación de imágenes (Jev por ahora solo trabaja con texto);
• un contexto de 64k frente a 32k;
• pesos públicos con licencia Apache 2.0 y despliegue en las GPU de Cloudflare en el borde de la red.

Cifras de los benchmarks

Los valores van en el orden Clef / Clef-flash / Jev:

• BFCL (case exact): 98,47 / 98,76 / 95,75
• ToolRet (nDCG@10): 69,19 / 66,43 / 65,28
• API-Bank (accuracy): 91,93 / 93,11 / 88,19
• Home appliances (case exact): 82,95 / 97,73 / 52,27
• When2Call (accuracy): 72,37 / 65,58 / 80,97
• BANKING77 (macro-F1): 94,20 / 90,93 / 79,74
• CLINC150+OOS (macro-F1): 97,43 / 66,77 / 89,27
• BRIGHT (nDCG@10): 45,91 / 39,26 / 47,52
• Amazon ESCI (macro-F1): 57,48 / 57,39 / 55,21
• PhishNChips (accuracy): 79,60 / 75,05 / 62,55

En el conjunto de evaluación propio de Typesafe, Clef superó a Jev en tres de cuatro áreas: procesamiento de facturas (64,7 frente a 61,8), atención al cliente (76,3 frente a 76,0) e incidentes de seguridad (62,9 frente a 61,7). En la observabilidad de trazas de agentes, Jev va por delante: 71,6 frente a 68,5 de Clef y 69,8 de Clef-flash. Cabe señalar que Jev también gana en When2Call y en BRIGHT, así que no se puede hablar de una victoria aplastante.

En latencia, sobre 43 benchmarks, la mediana de Clef fue de 209,3 ms (p95 238,6 ms), Clef-flash se quedó en 38,8 ms (p95 122,4 ms) y Jev registró 524,1 ms (p95 536,0 ms). Para DiffusionGemma de Jev, las cifras son 84,4 y 211,2 ms; para Kev-9B, 51,4 y 187,9 ms; para Laya, 5,8 y 222,5 ms. Laya es la más rápida en mediana, pero pierde calidad de forma notable: por ejemplo, 38,13 en BFCL.

La plataforma de RL y hacia dónde apunta

La compañía monta una cadena a partir de piezas que ya existen. AI Gateway registra el tráfico y lo convierte en un dataset; Workers AI genera rollouts sobre la Clef base; Containers sirve de sandbox para puntuar y repetir las acciones de los agentes; un nuevo componente, Trainer, actualiza los pesos; y Workers AI con Bring Your Own Model (Cog, herencia de la compra de Replicate) despliega el resultado. Por ahora, el servicio se presta a través del equipo de forward-deployed engineers; la plataforma self-serve llegará más adelante.

Ya hay casos de uso internos: la evaluación de denuncias en Trust & Safety, el triaje de solicitudes de soporte y la decisión, en los productos de Bot, de si el crawler que tenemos delante es bueno o malo. Para ellos, Cloudflare ha acumulado más de 15 años de datos de red etiquetados.

Para quienes desarrollan agentes, la conclusión práctica es sencilla: si en el pipeline hay una bifurcación del tipo «urgente o no», «qué departamento», «phishing o sitio legítimo», sale más barato poner un modelo de decisión en la ruta caliente y recurrir a una LLM solo para la acción en sí. La migración desde Jev se reduce a cambiar el modelo en la solicitud, los pesos se pueden descargar y ejecutar en local, y las empresas con un gran volumen de decisiones etiquetadas deberían plantearse el reentrenamiento. Cloudflare no lee, no almacena ni usa los datos de los clientes para entrenar, salvo cuando el propio cliente utiliza el servicio de fine-tuning.