Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarCloudflare AI Blog→ original

Cloudflare vai mostrar onde as equipes pagam demais por modelos de IA potentes demais

A conta da IA cresce, mas os tokens não dizem para onde o dinheiro foi. A Cloudflare adicionou ao AI Gateway a seção Overkill, que encontra diálogos em que uma tarefa simples, como formatação ou resumo curto, foi enviada a um modelo de raciocínio pesado. Ao lado aparecem usuários e agentes, custo, latência e número de turnos. Com isso, fica mais fácil a equipe decidir onde vale trocar o modelo padrão.

Processado por IA de Cloudflare AI Blog; editado por Hamidun News
Cloudflare vai mostrar onde as equipes pagam demais por modelos de IA potentes demais
Fonte: Cloudflare AI Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalCloudflare AI Blog ↗
Editor-chefe
Dado-chave #1Os recursos são gratuitos para os usuários do AI Gateway
A análise é assíncronaos dados ficam atrás do tráfego em cerca de um dia
Dado-chave #3O Auto Router, em beta, escolhe sozinho o modelo adequado para cada tarefa, e nem sempre o mais barato

Algumas semanas depois de implantar IA em uma empresa, quase sempre se repete a mesma situação: os gastos sobem, parte das requisições responde mais devagar e não se sabe por quê. Os desenvolvedores podem ter partido para um código mais complexo. Os agentes podem ter começado a fazer chamadas de esclarecimento desnecessárias. Ou um pequeno grupo de pessoas consome uma parcela desproporcional. Os contadores de tokens e de requisições não distinguem esses casos. A Cloudflare decidiu fechar essa lacuna com uma atualização do User Insights no seu AI Gateway.

O que exatamente a seção Overkill mostra

O User Insights apareceu no AI Gateway um mês antes. Ele mostrava quais usuários, aplicações e modelos geram tráfego e destacava anomalias nos gastos. Agora foi acrescentado contexto: qual trabalho está por trás da requisição? É uma revisão de código, uma pesquisa ou um agente que fez várias chamadas em sequência?

A seção Overkill procura diálogos em que o modelo escolhido parece mais forte do que a tarefa exige. Um exemplo típico: a formatação de um texto ou um resumo curto vai para um modelo de raciocínio caro. Há uma analogia do dia a dia: levar um único pacote de leite num caminhão. Funciona, mas é caro.

A Cloudflare enfatiza que isso não é um ranking de modelos nem uma recomendação automática de substituição. A seção ajuda a fazer perguntas. O modelo é adequado para a tarefa? A potência extra melhora o resultado? Um modelo rápido e barato daria conta? O problema está em um processo, em um usuário ou em um agente? As causas podem variar: o modelo está definido como padrão, as pessoas não sabem qual escolher, ou o agente usa o mesmo modelo em cada etapa.

Ao lado funciona a visão Potential Savings. Ela mostra as requisições que talvez possam ser enviadas a um modelo mais rápido ou mais barato sem perda de qualidade. Também é possível comparar latência, tokens de entrada e saída, número de turnos e custo final para um mesmo tipo de tarefa.

Como o serviço entende o tipo de tarefa

A análise agrupa os diálogos por categorias: programação, pesquisa, redação de textos, resumo e análise de dados. O número de turnos é avaliado à parte. Um diálogo longo não é necessariamente ruim, sobretudo em trabalhos complexos. Mas, se uma tarefa simples exige sempre várias interações, vale revisar o prompt, o modelo ou o processo. Além disso, o custo de uma tarefa não se resume à primeira requisição, e sim a todo o tempo, tokens e dinheiro gastos até o resultado final.

Tecnicamente, a classificação é feita por um Cloudflare Worker separado. Ele lê a trajetória do diálogo: as requisições do usuário, as respostas do assistente, as chamadas de ferramentas e seus resultados. Na saída, obtém-se uma categoria, uma estimativa de confiança e um conjunto de parâmetros: complexidade da tarefa, ambiguidade da intenção, custo do erro e dependência de contexto.

Uma ressalva importante sobre segurança: os metadados são armazenados separadamente dos corpos dos logs (Durable Objects para os metadados, R2 para os corpos). O painel mostra categorias derivadas e agregados, e não os próprios prompts. O prazo de retenção dos logs originais é definido pelas configurações atuais do AI Gateway, por isso convém verificá-las antecipadamente.

Outra limitação: a classificação é assíncrona. Ela é executada depois do processamento da requisição e não adiciona latência para o usuário. Mas os dados no painel podem ficar atrasados em cerca de um dia. É uma ferramenta para analisar tendências, e não para monitorar o tráfego em tempo real.

Quem entra no relatório e o papel do Auto Router

Para associar os gastos às pessoas, o AI Gateway usa identificação. Nas aplicações próprias, a requisição precisa de user_id e session_id estáveis, além, opcionalmente, do grupo e do nome da aplicação no cabeçalho cf-aig-metadata. A Cloudflare recomenda usar identificadores não pessoais e não colocar dados sobre pessoas no prompt. Para ferramentas como Claude Code, Codex e OpenCode, basta colocar o AI Gateway atrás do Cloudflare Access: o contexto do usuário e da sessão é obtido automaticamente. O Access é gratuito para equipes de até 50 pessoas.

A segunda parte do lançamento é o Auto Router. Ele usa os mesmos sinais (trajetória do diálogo, categoria, complexidade e adequação do modelo à tarefa) e escolhe sozinho o modelo levando o custo em conta. A ideia é não precisar escrever uma regra de roteamento separada para cada cenário. Código complexo ou pesquisa ainda podem ir para um modelo potente, enquanto as tarefas simples vão para um modelo rápido e barato. No anúncio, o Auto Router é apresentado em beta pública e em beta fechada; a inscrição na beta é feita por meio de um post separado da Cloudflare, então o acesso deve ser verificado à parte.

O que fazer na prática

Se seus agentes e funcionários usam um único modelo topo de linha, comece verificando: qual fatia do tráfego corresponde a resumos, formatação e classificação, e quantos turnos essas tarefas levam. Se a maioria dos diálogos se resolve em uma única interação, esse é um candidato claro para um modelo mais barato. A Cloudflare não publica números de economia, então a hipótese terá de ser testada com os seus próprios dados. Mas a abordagem em si faz sentido: primeiro entender o trabalho, depois escolher o modelo. Todos os recursos descritos do User Insights são gratuitos para os usuários do AI Gateway.

História

Perguntas frequentes sobre a notícia

O que exatamente a seção Overkill mostra?

O User Insights apareceu no AI Gateway um mês antes. Ele mostrava quais usuários, aplicações e modelos geram tráfego e destacava anomalias nos gastos. Agora foi acrescentado contexto: qual trabalho está por trás da requisição? É uma revisão de código, uma pesquisa ou um agente que fez várias chamadas em sequência? A seção Overkill procura diálogos em que o modelo escolhido parece mais forte do que a tarefa exige. Um exemplo típico: a formatação de um texto ou um resumo curto vai para um modelo de raciocínio caro.

Como o serviço entende o tipo de tarefa?

A análise agrupa os diálogos por categorias: programação, pesquisa, redação de textos, resumo e análise de dados. O número de turnos é avaliado à parte. Um diálogo longo não é necessariamente ruim, sobretudo em trabalhos complexos. Mas, se uma tarefa simples exige sempre várias interações, vale revisar o prompt, o modelo ou o processo. Além disso, o custo de uma tarefa não se resume à primeira requisição, e sim a todo o tempo, tokens e dinheiro gastos até o resultado final.

O que se sabe sobre Quem entra no relatório e o papel do Auto Router?

Para associar os gastos às pessoas, o AI Gateway usa identificação. Nas aplicações próprias, a requisição precisa de user_id e session_id estáveis, além, opcionalmente, do grupo e do nome da aplicação no cabeçalho cf-aig-metadata. A Cloudflare recomenda usar identificadores não pessoais e não colocar dados sobre pessoas no prompt. Para ferramentas como Claude Code, Codex e OpenCode, basta colocar o AI Gateway atrás do Cloudflare Access: o contexto do usuário e da sessão é obtido automaticamente.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…