Cache de prompts reduziu em 6,6 vezes a conta de 30 passos de um agente: $3,38 → $0,51

Imagine um agente de suporte que consulta 30 vezes seguidas a base de conhecimento e o CRM. O modelo não guarda nada na memória, então, a cada passo, o código ao redor dele (chamado de harness, a «camada de orquestração») reenvia tudo: descrições das ferramentas, regras e todo o histórico de passos. Token é um pedaço de texto: é nele que o modelo lê e é por ele que se cobra.

No exemplo hipotético da primeira parte da série «AI-инженерия для тех, кто вкатывается» (engenharia de IA para quem está entrando na área), o modelo leu 1,63 milhão de tokens em 30 passos, embora nenhum pedido tenha passado de 96 300. Sem cache, a tarefa custa $3,38; com o cache de prompts, $0,51: 6,6 vezes mais barato. Se você desenvolve ou paga por agentes, essa conta afeta diretamente o orçamento.

O que faz um engenheiro de IA e por que o modelo «não lembra de nada»

No hh.ru, em 28 de outubro de 2026, havia 1 458 vagas com a expressão «AI-агент» (agente de IA), 1 261 mencionando LLM, 520 com RAG e 245 com MCP. Já «кэширование промптов» (cache de prompts) aparece em apenas 13 vagas, e tokens em 19. Há muita vontade de construir agentes, mas quase ninguém pergunta quanto eles custam.

Seguindo Chip Huyen («AI Engineering»), o autor separa os papéis. O engenheiro de ML treina o próprio modelo. O engenheiro de IA pega um modelo pronto, como Claude ou GPT, e monta um sistema ao redor dele: fornece os dados, conecta ferramentas, verifica o resultado e controla o custo. Para ele, o modelo é um serviço externo, como um banco de dados, só que responde em texto e às vezes erra. Segundo a pesquisa do Stack Overflow de 2026, 73% dos desenvolvedores escrevem código todos os dias com assistentes e agentes.

O modelo em si não executa nada: ele responde em texto ou pede algo como «chame a função get_weather para Moscou», e quem executa a função é o seu código. Na documentação da Anthropic, o ciclo do agente é um while comum: pedido, chamada de ferramenta, resultado, novo pedido, até o modelo responder com texto. Todo pedido é montado na mesma ordem: ferramentas, prompt de sistema, histórico.

O agente pode ser estendido com MCP (padrão aberto para conectar ferramentas e dados), skills (pastas com instruções; no contexto fica só a descrição, de cerca de 100 tokens), subagentes (assistentes com contexto próprio que devolvem apenas o resultado final) e hooks. Um hook é um script seu, acionado por um evento do harness: ele pode proibir uma ação, consultar uma pessoa ou rodar um linter. A regra do autor: a skill aconselha, o hook garante.

Quanto custam 30 passos de um agente

Preços do Sonnet 5.5 em 28 de outubro: $2 por milhão de tokens de entrada e $10 por milhão de tokens de saída. O cenário é hipotético: 12 mil tokens no início de cada pedido (ferramentas e prompt de sistema), 200 tokens na primeira mensagem e, em cada passo, uma resposta do modelo de 400 tokens e um resultado de ferramenta de 2 500.

No último passo, o pedido pesa 96 300 tokens, menos de um décimo da janela de contexto. Mas cada passo paga de novo por tudo o que veio antes, e por isso o modelo leu 1,63 milhão de tokens em 30 passos, 17 vezes mais. As respostas do modelo somam cerca de 12 mil tokens, então quase todo o dinheiro vai para a entrada. O total sem cache é $3,38.

O idioma também pesa. O autor fez uma medição pequena, com três pares de textos idênticos (documentação, prosa e código), com cerca de 1 000 caracteres por idioma. No Sonnet 4.6 e no Haiku 4.5, o russo ocupou 1,6 vez mais tokens que o inglês; no Sonnet 5.5, 1,27 vez. A causa não está no russo (402 tokens passaram para 415), e sim no inglês: ele subiu de 252 para 327 tokens por causa de uma nova forma de segmentar o texto. A amostra é pequena; serve como referência, não como estudo.

Como o cache chega a 6,6 vezes e como evitar quebrá-lo

No passo 30, quase todo o conteúdo do pedido já foi lido pelo modelo no passo 29: as mesmas ferramentas, o mesmo prompt, o mesmo histórico. O cache não reprocessa o início repetido e cobra por ele de 5% a 10% do preço. Você define um marcador (até quatro) indicando até onde salvar. O pedido seguinte só acerta o cache se o início for idêntico, até o último caractere. O cache dura 5 minutos, cada acerto prolonga o prazo e, mediante pagamento adicional, é possível mantê-lo por uma hora. O mínimo para os modelos novos do Claude é 512 tokens; se o pedido for menor, não há erro, o cache simplesmente não é ativado.

Com cache, os mesmos pedidos custam $0,51 em vez de $3,38. Quebrá-lo é fácil: mudar a descrição de uma ferramenta zera o pedido inteiro, e uma busca na web ou a hora atual no prompt de sistema zeram o prompt e o histórico. Trocar o tool_choice ou adicionar uma imagem zera o histórico.

Na prática: comece com um único pedido e prefira uma cadeia a um agente enquanto os passos puderem ser escritos no código. Mantenha o que não muda no início, não altere o conjunto de ferramentas no meio da sessão e não coloque datas nem IDs aleatórios no começo. Observe o campo usage: se cache_read_input_tokens é quase sempre zero, o cache não está funcionando. Entregue o trabalho barulhento aos subagentes, leve instruções longas para as skills e transforme as verificações obrigatórias em hooks. Dê ao agente um jeito de se checar, como testes, build ou navegador; do contrário, ele declarará «pronto» cedo demais.

Ressalva: o cálculo é hipotético, e a economia real depende do tamanho da tarefa, das pausas entre os pedidos e da estabilidade do início do pedido. Na segunda parte da série, o autor vai tratar de confiabilidade (idempotência e durable execution); na terceira, da diferença entre cadeia e agente, usando como exemplo o agente de suporte.