Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarX: @SemiAnalysis_→ original

1,8% das requisições sem cache consumiram 15% da fatura do Opus 5.5 na SemiAnalysis

A SemiAnalysis analisou a fatura do Opus 5.5: apenas 1,8% das requisições passaram sem cache, ou seja, o modelo releu todo o contexto pelo preço cheio. Mesmo assim, essa fatia respondeu por cerca de 15% dos gastos. Na maioria dos casos, quem começava assim eram subagentes novos: eles não têm cache pronto, como um funcionário recém-chegado a quem é preciso recontar o projeto inteiro. Outros 12% das sessões, retomadas depois de uma pausa de mais de uma hora, pagaram cerca de $3 pela retomada. A lição para times que usam agentes: a parcela de requisições sem cache precisa ser medida separadamente.

Processado por IA de X: @SemiAnalysis_; editado por Hamidun News
1,8% das requisições sem cache consumiram 15% da fatura do Opus 5.5 na SemiAnalysis
Fonte: X: @SemiAnalysis_. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @SemiAnalysis_ ↗
Editor-chefe
Dado-chave #11,8% das requisições sem cache geraram cerca de 15% de todos os gastos com o Opus 5.5
Dado-chave #2Na maioria dos casos, são subagentes novos que começam do zero, sem cache
Dado-chave #312% das sessões pagaram cerca de $3 pela retomada após uma pausa de mais de uma hora

A SemiAnalysis, empresa de análise especializada em infraestrutura de IA, examinou a própria fatura do modelo Opus 5.5 e encontrou uma distorção. Apenas 1,8% das requisições passaram «sem cache»: o provedor teve de processar todo o contexto de novo, em vez de aproveitar a parte já lida por um preço reduzido. Ainda assim, essa fatia minúscula respondeu por cerca de 15% de todos os gastos com o Opus 5.5. Em outras palavras, mais ou menos uma requisição em cada cinquenta e cinco custou quase um sétimo da fatura. Se você roda agentes de programação, é provável que o mesmo aconteça com você — só que ainda não foi medido.

O que é uma «requisição sem cache», na prática

O cache de prompt funciona como um marcador de página em um livro. Suponha que um agente trabalhe com um repositório: no início da requisição ficam a instrução, os arquivos do projeto e o histórico de comandos. Se o começo da requisição coincide com o da anterior, o provedor não o reprocessa e cobra mais barato por essa parte. Se não há marcador, todo o contexto acumulado é cobrado de novo. Em tarefas com agentes, o contexto costuma ser grande, e por isso cada falha de cache pesa de forma visível no orçamento.

De onde vêm as falhas caras

A SemiAnalysis aponta duas causas.

A primeira são os subagentes novos. Segundo os analistas, a maior parte das requisições sem cache veio de subagentes que começaram a trabalhar do zero. O agente principal cria um assistente, e este precisa receber toda a introdução outra vez, como um funcionário novo a quem se conta o projeto inteiro no primeiro dia. Muitos subagentes curtos significam muitos «primeiros dias», e cada um deles é cobrado.

A segunda são as pausas. De acordo com a SemiAnalysis, 12% das sessões foram retomadas depois de uma pausa de mais de uma hora e pagaram cerca de $3 para reler o contexto. O desenvolvedor saiu para almoçar, voltou e continuou na mesma sessão. Para ele, é a mesma tarefa; para a fatura, é quase uma execução nova, porque o cache salvo já deixou de valer.

Ressalva: $3 por retomada é um valor pequeno. O problema está na escala, quando essas retomadas acontecem em uma de cada dez sessões, com muita gente. Além disso, os números se referem a uma única empresa e a um único modelo, então as proporções no seu time serão diferentes.

O que fazer na prática

Primeiro, meça separadamente a parcela de requisições sem cache, e não apenas o consumo total de tokens. A média esconde falhas raras, porém caras: 1,8% do tráfego quase não aparece no gráfico, mas por trás dele estão cerca de 15% dos gastos.

Segundo, descubra quem as gera. Monte no monitoramento uma lista das sessões e dos subagentes com mais requisições sem cache. Se os subagentes respondem pela maior parte, vale verificar se cada um deles é realmente necessário ou se a tarefa pode ser feita dentro de um contexto já em execução.

Terceiro, considere as pausas. Se as pessoas costumam voltar à sessão depois de um intervalo longo, faz sentido comprimir o histórico em um resumo curto antes de retomar, em vez de reenviar todo o contexto anterior.

Quarto, padronize o início dos prompts dos subagentes. É melhor manter a instrução geral e o contexto do projeto em um único bloco, sempre na mesma ordem. Isso é uma regra geral de funcionamento do cache, e não uma conclusão do post da SemiAnalysis: qualquer alteração no início da requisição, como um carimbo de data e hora, pode tornar a requisição «fria».

A principal lição para fundadores e responsáveis de produto: o custo de um agente não depende só do preço do token, mas também da frequência com que você paga repetidamente pelo mesmo contexto. É um parâmetro de arquitetura que se pode controlar, tanto quanto a escolha do modelo. O post da SemiAnalysis faz parte de uma série (3/4), mas só por esta parte já dá para ver por onde começar a otimização: pela parcela de requisições sem cache e pelos subagentes que a geram.

História

Perguntas frequentes sobre a notícia

O que é uma «requisição sem cache», na prática?

O cache de prompt funciona como um marcador de página em um livro. Suponha que um agente trabalhe com um repositório: no início da requisição ficam a instrução, os arquivos do projeto e o histórico de comandos. Se o começo da requisição coincide com o da anterior, o provedor não o reprocessa e cobra mais barato por essa parte. Se não há marcador, todo o contexto acumulado é cobrado de novo. Em tarefas com agentes, o contexto costuma ser grande, e por isso cada falha de cache pesa de forma visível no orçamento.

O que se sabe sobre De onde vêm as falhas caras?

A SemiAnalysis aponta duas causas. A primeira são os subagentes novos. Segundo os analistas, a maior parte das requisições sem cache veio de subagentes que começaram a trabalhar do zero. O agente principal cria um assistente, e este precisa receber toda a introdução outra vez, como um funcionário novo a quem se conta o projeto inteiro no primeiro dia. Muitos subagentes curtos significam muitos «primeiros dias», e cada um deles é cobrado. A segunda são as pausas.

O que fazer na prática?

Primeiro, meça separadamente a parcela de requisições sem cache, e não apenas o consumo total de tokens. A média esconde falhas raras, porém caras: 1,8% do tráfego quase não aparece no gráfico, mas por trás dele estão cerca de 15% dos gastos. Segundo, descubra quem as gera. Monte no monitoramento uma lista das sessões e dos subagentes com mais requisições sem cache.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…