Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
IndustriaAnálisis · En radarCloudflare AI Blog→ original

Cloudflare mostrará dónde los equipos pagan de más por modelos de IA demasiado potentes

La factura de la IA sube, pero los tokens no explican en qué se gasta el dinero. Cloudflare ha añadido a AI Gateway la sección Overkill, que localiza conversaciones en las que una tarea sencilla, como dar formato a un texto o resumirlo brevemente, se envió a un modelo pesado de razonamiento. Junto a ello aparecen los usuarios y agentes implicados, el coste, la latencia y el número de turnos. Así, al equipo le resulta más fácil identificar dónde conviene cambiar el modelo por defecto. Las funciones son gratuitas para los usuarios de AI Gateway. El análisis es asíncrono: los datos van por detrás del tráfico, unas 24 horas aproximadamente. Auto Router, en beta, elige el modelo adecuado para cada tarea, aunque no siempre el más barato.

Procesado por IA desde Cloudflare AI Blog; editado por Hamidun News
Cloudflare mostrará dónde los equipos pagan de más por modelos de IA demasiado potentes
Fuente: Cloudflare AI Blog. Collage: Hamidun News.
Escuchar artículo

Unas semanas después de implantar la IA en una empresa, casi siempre se repite la misma historia: los gastos suben, algunas peticiones responden más despacio y no se sabe por qué. Puede que los desarrolladores hayan abordado código más complejo. Puede que los agentes hayan empezado a hacer llamadas de aclaración innecesarias. O que un pequeño grupo de personas esté gastando más de lo que le corresponde. Los contadores de tokens y de peticiones no distinguen entre estos casos. Cloudflare ha decidido cubrir ese vacío con una actualización de User Insights en su AI Gateway.

Qué muestra exactamente la sección Overkill

User Insights llegó a AI Gateway hace un mes. Mostraba qué usuarios, aplicaciones y modelos generan tráfico y señalaba anomalías en el gasto. Ahora se le ha añadido contexto: qué tipo de trabajo hay detrás de cada petición. ¿Es una revisión de código, una investigación o un agente que ha hecho varias llamadas seguidas?

La sección Overkill busca conversaciones en las que el modelo elegido parece más potente de lo que la tarea necesita. El caso típico: dar formato a un texto o resumirlo brevemente se envía a un modelo de razonamiento caro. Una analogía cotidiana lo ilustra: transportar un solo paquete de leche en camión. Funciona, pero sale caro.

Cloudflare subraya que esto no es un ranking de modelos ni una recomendación automática de sustitución. La sección sirve para plantear preguntas. ¿Se ajusta el modelo a la tarea? ¿Mejora el resultado la potencia adicional? ¿Podría resolverlo un modelo más rápido y barato? ¿El problema está en un proceso, en un usuario o en un agente concreto? Las causas pueden ser varias: el modelo por defecto, personas que no saben cuál elegir o un agente configurado para usar el mismo modelo en cada paso.

Junto a ella funciona la vista Potential Savings. Muestra las peticiones que quizá podrían pasar a un modelo más rápido o barato sin pérdida de calidad. También permite comparar la latencia, los tokens de entrada y de salida, el número de turnos y el coste total para un mismo tipo de tarea.

Cómo el servicio entiende el tipo de tarea

El análisis agrupa las conversaciones por categorías: programación, investigación, redacción de textos, resúmenes y análisis de datos. Además, se analiza por separado el número de turnos. Una conversación larga no es necesariamente mala, sobre todo en trabajos complejos. Pero si una tarea sencilla requiere siempre varias iteraciones, conviene revisar el prompt, el modelo o el proceso. Por otra parte, el coste de una tarea no depende solo de la primera petición, sino de todo el tiempo, los tokens y el dinero invertidos hasta obtener el resultado final.

Desde el punto de vista técnico, la clasificación la realiza un Cloudflare Worker independiente. Lee la trayectoria de la conversación: las peticiones del usuario, las respuestas del asistente, las llamadas a herramientas y sus resultados. A la salida obtiene una categoría, una estimación de confianza y varios parámetros: complejidad de la tarea, ambigüedad de la intención, coste de un error y dependencia del contexto.

Una salvedad importante para la seguridad: los metadatos se guardan por separado de los cuerpos de los registros (Durable Objects para los metadatos y R2 para los cuerpos). El panel muestra categorías derivadas y agregados, no los prompts en sí. El plazo de conservación de los registros originales lo determinan los ajustes actuales de AI Gateway, así que conviene revisarlos de antemano.

Otra limitación: la clasificación es asíncrona. Se ejecuta después de procesar la petición y no añade latencia para el usuario. Pero los datos del panel pueden retrasarse unas 24 horas. Es una herramienta para analizar tendencias, no para monitorizar el tráfico en tiempo real.

Quién y cómo aparece en el informe, y qué tiene que ver Auto Router

Para vincular el gasto con las personas, AI Gateway utiliza identificación. En las aplicaciones propias, la petición necesita identificadores estables user_id y session_id, además de, opcionalmente, el grupo y el nombre de la aplicación en la cabecera cf-aig-metadata. Cloudflare recomienda usar identificadores no personales y no incluir datos sobre personas en el prompt. Para herramientas como Claude Code, Codex y OpenCode basta con colocar AI Gateway detrás de Cloudflare Access: el contexto del usuario y de la sesión se obtiene automáticamente. Access es gratuito para equipos de hasta 50 personas.

La segunda parte de la publicación es Auto Router. Toma las mismas señales (la trayectoria de la conversación, la categoría, la complejidad y la adecuación del modelo a la tarea) y elige por sí mismo el modelo teniendo en cuenta el coste. La idea es no tener que escribir una regla de enrutamiento aparte para cada escenario. El código complejo o la investigación pueden seguir yendo a un modelo potente, mientras que las tareas sencillas pasan a uno rápido y barato. En el anuncio, Auto Router se presenta como beta pública y cerrada; el acceso a la beta se solicita mediante una entrada aparte de Cloudflare, así que conviene comprobar la disponibilidad por separado.

Qué hacer en la práctica

Si sus agentes y empleados usan un único modelo de gama alta, empiece por comprobar qué parte del tráfico corresponde a resúmenes, formateo y clasificación, y cuántos turnos consumen esas tareas. Si la mayoría de las conversaciones se resuelve en un solo turno, es un candidato claro para un modelo más barato. Cloudflare no publica cifras de ahorro, así que la hipótesis deberá verificarse con datos propios. Pero el enfoque es sensato: primero entender el trabajo y después elegir el modelo. Todas las funciones de User Insights descritas son gratuitas para los usuarios de AI Gateway.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué muestra exactamente la sección Overkill?

User Insights llegó a AI Gateway hace un mes. Mostraba qué usuarios, aplicaciones y modelos generan tráfico y señalaba anomalías en el gasto. Ahora se le ha añadido contexto: qué tipo de trabajo hay detrás de cada petición. ¿Es una revisión de código, una investigación o un agente que ha hecho varias llamadas seguidas? La sección Overkill busca conversaciones en las que el modelo elegido parece más potente de lo que la tarea necesita.

Cómo el servicio entiende el tipo de tarea?

El análisis agrupa las conversaciones por categorías: programación, investigación, redacción de textos, resúmenes y análisis de datos. Además, se analiza por separado el número de turnos. Una conversación larga no es necesariamente mala, sobre todo en trabajos complejos. Pero si una tarea sencilla requiere siempre varias iteraciones, conviene revisar el prompt, el modelo o el proceso.

¿Qué se sabe sobre Quién y cómo aparece en el informe, y qué tiene que ver Auto Router?

Para vincular el gasto con las personas, AI Gateway utiliza identificación. En las aplicaciones propias, la petición necesita identificadores estables user_id y session_id, además de, opcionalmente, el grupo y el nombre de la aplicación en la cabecera cf-aig-metadata. Cloudflare recomienda usar identificadores no personales y no incluir datos sobre personas en el prompt.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
¿Qué te parece?
Cargando comentarios…