En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarX: @SemiAnalysis_→ original

El 1,8% de las solicitudes sin caché se llevó el 15% de la factura de Opus 5.5 en SemiAnalysis

SemiAnalysis revisó su factura de Opus 5.5: solo el 1,8% de las solicitudes se procesó sin caché, es decir, el modelo volvió a leer todo el contexto a precio completo, pero esas solicitudes se llevaron cerca del 15% del gasto. Lo más habitual es que fueran subagentes recién lanzados. No tienen caché listo, como un empleado nuevo al que hay que contarle todo el proyecto desde cero. Además, el 12% de las sesiones que se reanudaron tras una pausa de más de una hora pagó unos $3 por la reanudación. La conclusión para los equipos que usan agentes: hay que medir por separado la proporción de solicitudes sin caché.

Procesado por IA desde X: @SemiAnalysis_; editado por Hamidun News
El 1,8% de las solicitudes sin caché se llevó el 15% de la factura de Opus 5.5 en SemiAnalysis
Fuente: X: @SemiAnalysis_. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @SemiAnalysis_ ↗
Editor jefe
Dato clave #1El 1,8% de las solicitudes sin caché generó cerca del 15% de todo el gasto en Opus 5.5
Dato clave #2Lo más frecuente son subagentes nuevos que arrancan desde cero, sin caché
Dato clave #3El 12% de las sesiones tras una pausa de más de una hora pagó unos $3 por la reanudación

La consultora SemiAnalysis, especializada en infraestructura de IA, revisó su propia factura del modelo Opus 5.5 y encontró un desequilibrio. Solo el 1,8% de las solicitudes se procesó «sin caché»: el proveedor tuvo que volver a procesar todo el contexto en lugar de reutilizar la parte ya leída a un precio reducido. Sin embargo, esa fracción minúscula generó cerca del 15% de todo el gasto en Opus 5.5. En otras palabras, una de cada cincuenta y cinco solicitudes costó casi una séptima parte de la factura. Si usted ejecuta agentes de programación, lo más probable es que le esté pasando lo mismo y que simplemente aún no lo haya medido.

Qué es una «solicitud sin caché», con un ejemplo real

El caché de prompts funciona como un marcapáginas en un libro. Supongamos que un agente trabaja con un repositorio: al principio de la solicitud van las instrucciones, los archivos del proyecto y el historial de comandos. Si ese inicio coincide con el de la solicitud anterior, el proveedor no lo recalcula y cobra esa parte más barata. Si no hay marcapáginas, todo el contexto acumulado se paga de nuevo. En las tareas con agentes el contexto suele ser grande, así que cada fallo de este tipo pesa de forma notable en el presupuesto.

De dónde salen los fallos caros

SemiAnalysis señala dos causas.

La primera son los subagentes nuevos. Según los analistas, la mayoría de las solicitudes sin caché correspondía a subagentes que empezaban a trabajar desde cero. El agente principal genera un ayudante, y este tiene que recibir de nuevo todo el contexto, como un empleado nuevo al que le explican el proyecto entero en su primer día. Muchos subagentes de vida corta significan muchos de esos «primeros días», y cada uno se paga.

La segunda son las pausas. Según los datos de SemiAnalysis, el 12% de las sesiones se reanudó tras una pausa de más de una hora y pagó unos $3 por volver a leer el contexto. Un desarrollador se fue a comer, volvió y siguió en la misma sesión. Para él es la misma tarea, pero para la factura es casi un lanzamiento nuevo, porque el caché guardado ya ha dejado de funcionar.

Salvedad: $3 por una reanudación es una cantidad pequeña. El problema está en la escala, cuando esas reanudaciones ocurren en una de cada diez sesiones y en muchas personas. Además, las cifras corresponden a una sola empresa y a un solo modelo, así que en su equipo las proporciones serán distintas.

Qué hacer en la práctica

Primero, mida por separado la proporción de solicitudes sin caché y no se limite al consumo total de tokens. El promedio oculta los fallos poco frecuentes pero caros: el 1,8% del tráfico apenas se ve en un gráfico, aunque detrás hay cerca del 15% del gasto.

Segundo, averigüe quién los genera. Cree en su monitorización una lista de las sesiones y los subagentes con más solicitudes sin caché. Si la mayor parte la aportan los subagentes, conviene comprobar si todos son necesarios o si la tarea puede resolverse dentro de un contexto que ya está en marcha.

Tercero, tenga en cuenta las pausas. Si la gente vuelve a menudo a una sesión después de un descanso largo, tiene sentido condensar el historial en un resumen breve antes de reanudar, en lugar de reenviar todo el contexto anterior.

Cuarto, haga que el inicio de los prompts de los subagentes sea idéntico. Conviene mantener la instrucción común y el contexto del proyecto como un mismo bloque y en el mismo orden. Es una regla general del funcionamiento del caché, no una conclusión del post de SemiAnalysis: cualquier cambio al principio de la solicitud, por ejemplo una marca de tiempo, puede volverla «fría».

La lección principal para fundadores y responsables de producto: el coste de un agente no depende solo del precio del token, sino también de con qué frecuencia se paga varias veces por el mismo contexto. Es un parámetro de arquitectura que se puede controlar, igual que la elección del modelo. El post de SemiAnalysis forma parte de una serie (3/4), pero ya con esta entrega se ve por dónde empezar a optimizar: por la proporción de solicitudes sin caché y por los subagentes que la generan.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué es una «solicitud sin caché», con un ejemplo real?

El caché de prompts funciona como un marcapáginas en un libro. Supongamos que un agente trabaja con un repositorio: al principio de la solicitud van las instrucciones, los archivos del proyecto y el historial de comandos. Si ese inicio coincide con el de la solicitud anterior, el proveedor no lo recalcula y cobra esa parte más barata. Si no hay marcapáginas, todo el contexto acumulado se paga de nuevo.

¿Qué se sabe sobre De dónde salen los fallos caros?

SemiAnalysis señala dos causas. La primera son los subagentes nuevos. Según los analistas, la mayoría de las solicitudes sin caché correspondía a subagentes que empezaban a trabajar desde cero. El agente principal genera un ayudante, y este tiene que recibir de nuevo todo el contexto, como un empleado nuevo al que le explican el proyecto entero en su primer día. Muchos subagentes de vida corta significan muchos de esos «primeros días», y cada uno se paga. La segunda son las pausas.

¿Qué se sabe sobre Qué hacer en la práctica?

Primero, mida por separado la proporción de solicitudes sin caché y no se limite al consumo total de tokens. El promedio oculta los fallos poco frecuentes pero caros: el 1,8% del tráfico apenas se ve en un gráfico, aunque detrás hay cerca del 15% del gasto. Segundo, averigüe quién los genera. Cree en su monitorización una lista de las sesiones y los subagentes con más solicitudes sin caché.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
¿Qué te parece?
Cargando comentarios…