Cloudflare lança modelos open source Clef: 98,5% no BFCL e 38,8 ms

A Cloudflare entrou no mercado de modelos de decisão: a empresa lançou o Clef e o Clef-flash, dois modelos próprios que, em vez de raciocinar e gerar texto, devolvem respostas estritamente tipadas, acompanhadas de probabilidades. Ambos estão disponíveis no Workers AI, são compatíveis com a API Jev, da Typesafe AI, e têm os pesos no Hugging Face sob licença Apache 2.0. Segundo a Cloudflare, o Clef lidera atualmente o Jev Decision Index. Ao mesmo tempo, a empresa lança um serviço de ajuste fino com RL: primeiro conduzido pelos engenheiros de FDE e, mais adiante, como plataforma self-serve.

Decisão em vez de raciocínio

Um modelo de decisão recebe como entrada um estado (por exemplo, uma mensagem para o suporte) e um conjunto de perguntas: se o caso é urgente, qual equipe deve cuidar dele, qual o grau de impacto. A saída é um JSON tipado com probabilidades, que o código usa para encaminhar o ticket, abrir uma escalação ou repassar a tarefa a uma pessoa. O modelo trabalha com um conjunto arbitrário de categorias, sem precisar de novo treinamento para cada categoria nova.

Dentro da Cloudflare, o Clef já está em teste na equipe de Threat Intelligence, para classificar domínios. Por meio do Browser Run, o modelo recebe a página, a renderiza e devolve um conjunto de categorias: por exemplo, 95% moda, 85% e-commerce, menos de 1% phishing. O ciclo completo leva 2,2 s. O LLM de uso geral mais rápido da empresa, o gpt-oss-120b, gastou 4,7 s no mesmo cenário e devolveu apenas duas categorias.

Como o Clef é construído e no que difere do Jev

A base é um modelo Qwen congelado: Qwen3.8-27B para o Clef e Qwen3.5-9B para o Clef-flash. Por cima dele, foram treinados uma cabeça de roteamento e adaptadores de baixo ranque (rank-256). A inferência consiste em uma única passada de prefill, depois da qual as variantes válidas do esquema são avaliadas em paralelo. A decodificação é não autorregressiva: os tokens não são gerados um a um, e daí vem o ganho de velocidade. Primeiro, as opções de resposta reúnem o contexto relevante; depois, os campos aplicam atenção cruzada entre si e sobre os dados de entrada; só então ocorre a pontuação.

O treinamento usa cross-entropy com label smoothing e Brier loss para calibrar as probabilidades, com dados sintéticos internos em que campos, prompts e esquemas são permutados. A segunda etapa é o RLCD (Reinforcement Learning for Calibrated Decisions): pontuação parcial para opções ordinais vizinhas, recompensa por registros totalmente corretos e penalidade por desvio em relação à referência.

As diferenças em relação ao Jev são três:

• encoder visual, ou seja, classificação de imagens (o Jev, por ora, trabalha só com texto);
• contexto de 64k, contra 32k;
• pesos públicos sob Apache 2.0 e hospedagem nas GPUs da Cloudflare na borda da rede.

Os números dos benchmarks

Os valores seguem a ordem Clef / Clef-flash / Jev:

• BFCL (case exact): 98,47 / 98,76 / 95,75
• ToolRet (nDCG@10): 69,19 / 66,43 / 65,28
• API-Bank (accuracy): 91,93 / 93,11 / 88,19
• Home appliances (case exact): 82,95 / 97,73 / 52,27
• When2Call (accuracy): 72,37 / 65,58 / 80,97
• BANKING77 (macro-F1): 94,20 / 90,93 / 79,74
• CLINC150+OOS (macro-F1): 97,43 / 66,77 / 89,27
• BRIGHT (nDCG@10): 45,91 / 39,26 / 47,52
• Amazon ESCI (macro-F1): 57,48 / 57,39 / 55,21
• PhishNChips (accuracy): 79,60 / 75,05 / 62,55

No conjunto de testes próprio da Typesafe, o Clef superou o Jev em três de quatro áreas: processamento de faturas (64,7 contra 61,8), suporte ao cliente (76,3 contra 76,0) e incidentes de segurança (62,9 contra 61,7). Na observabilidade de traces de agentes, o Jev está à frente: 71,6, contra 68,5 do Clef e 69,8 do Clef-flash. Vale notar que o Jev também vence no When2Call e no BRIGHT, então não dá para falar em vitória esmagadora.

Em latência, na média de 43 benchmarks, a mediana do Clef foi de 209,3 ms (p95 238,6 ms), o Clef-flash fechou em 38,8 ms (p95 122,4 ms) e o Jev registrou 524,1 ms (p95 536,0 ms). No DiffusionGemma Jev, os valores são 84,4 e 211,2 ms; no Kev-9B, 51,4 e 187,9 ms; no Laya, 5,8 e 222,5 ms. O Laya é o mais rápido em mediana, mas perde bastante em qualidade: por exemplo, 38,13 no BFCL.

Plataforma de RL e para onde isso aponta

A empresa monta a cadeia a partir de peças já existentes. O AI Gateway registra o tráfego e o transforma em dataset; o Workers AI gera rollouts com o Clef base; o Containers serve de sandbox para pontuar e reexecutar as ações dos agentes; o Trainer, componente novo, atualiza os pesos; e o Workers AI com Bring Your Own Model (Cog, herança da compra da Replicate) publica o resultado de volta. Por enquanto, o serviço funciona por meio da equipe de forward-deployed engineers; a plataforma self-serve virá depois.

Já existem cenários internos: avaliação de denúncias em Trust & Safety, triagem de solicitações de suporte e a decisão, nos produtos Bot, sobre se um crawler é bom ou ruim. Para esses casos, a Cloudflare acumulou mais de 15 anos de dados de rede rotulados.

Para quem desenvolve agentes, a conclusão prática é simples: se o pipeline tem uma bifurcação do tipo «urgente ou não», «qual departamento», «phishing ou site legítimo», sai mais barato colocar um modelo de decisão no caminho crítico e acionar o LLM só para a ação em si. A migração do Jev se resume a trocar o modelo na requisição, os pesos podem ser baixados e executados localmente, e empresas com grande volume de decisões rotuladas devem considerar o ajuste fino. A Cloudflare não lê, não armazena nem usa dados de clientes para treinamento, exceto quando o próprio cliente utiliza o serviço de fine-tuning.