LangChain Deep Agents reduz em até 80% o custo de LLMs com cache de prompts

A LangChain adicionou cache automático de prompts ao Deep Agents. Segundo a empresa, isso reduz em até 80% o gasto com tokens de LLM, sem configuração adicional e sem mudanças no código do agente.

O que é prompt caching e por que agentes precisam dele

O cache de prompts é uma técnica em que o provedor do modelo guarda uma cópia "congelada" das partes do contexto que se repetem com frequência. Pode ser o prompt de sistema, o histórico da conversa ou um grande conjunto de documentos carregados. Na chamada seguinte, o provedor não processa esses tokens de novo: busca-os no cache e cobra bem menos por eles.

Em um aplicativo de chat comum, o cache traz um ganho moderado, já que o prompt de sistema costuma ser curto. Para agentes, o cenário é fundamentalmente outro. Ao longo de uma única tarefa, o agente faz dezenas de chamadas sequenciais ao modelo. A cada vez, envia a mesma instrução longa, o histórico das ações anteriores e as ferramentas e documentos carregados. Sem cache, tudo isso é processado e pago novamente a cada passo, mesmo que 90% do conteúdo não tenha mudado.

Um exemplo simples: um agente de pesquisa lê 50 páginas de documentação técnica e depois executa 30 passos de raciocínio e chamadas de ferramentas. Cada passo puxa o contexto completo de volta para o modelo. Com cache, a primeira chamada é paga integralmente e as seguintes cobram apenas pelos tokens novos.

Como o Deep Agents ativa o cache automaticamente

A LangChain implementou o cache para que funcione sem a intervenção do desenvolvedor. Não é preciso estudar a documentação de cada provedor, definir flags especiais nem reestruturar a arquitetura do agente. O framework identifica qual provedor está em uso e ativa o mecanismo adequado.

Todos os grandes players são suportados:

• Anthropic (Claude): cache no nível do prompt de sistema e das descrições de ferramentas
• OpenAI (GPT-4o, o3): cache de segmentos de entrada repetidos
• Google (Gemini): cache de contexto para documentos longos
• Outros provedores compatíveis

Isso significa que o desenvolvedor escreve o código uma vez para o LangChain Deep Agents e o cache funciona em qualquer lugar. Ao trocar de provedor, não é preciso configurar mais nada.

Economia real: até 80% em tokens

O número de "até 80%" é alcançável em cenários específicos: contexto longo e repetido somado a muitos passos do agente. Quanto mais chamadas ao modelo dentro de uma tarefa e quanto mais longa a parte imutável do prompt, maior a economia. Para equipes que rodam agentes em produção, isso significa reduzir a conta da API várias vezes.

É especialmente importante em cenários corporativos:

• Análise de grandes corpora de documentos
• Pipelines de pesquisa em várias etapas
• Agentes com memória de longo prazo e contexto ampliado de ferramentas
• Geradores de conteúdo que processam centenas de requisições por dia

A LangChain ressalta que o cache de prompts é uma das otimizações mais simples e com maior ROI no desenvolvimento de agentes. Os provedores também têm interesse em ampliar esse suporte: menos computação significa infraestrutura mais barata para eles mesmos.

O que isso significa

Sistemas de agentes ficam caros em escala, e o cache de prompts já é uma das principais formas de controlar os custos. A LangChain remove a barreira de engenharia: o desenvolvedor não precisa mais implementar o cache por conta própria para cada provedor. Isso reduz a barreira de entrada ao desenvolvimento de agentes em produção e torna economicamente viável rodar agentes mesmo com orçamento limitado.