LangChain Deep Agents reduz os custos com LLM em 80% com cache de prompts

LangChain Deep Agents reduz custos de LLM em 80% através de cache de prompts

O LangChain adicionou cache automático de prompts aos Deep Agents. De acordo com a empresa, isso reduz despesas com tokens de LLM em até 80% sem configuração adicional ou mudanças no código do agente.

O que é cache de prompts e por que os agentes precisam

Cache de prompts é uma técnica onde um provedor de modelo armazena uma cópia "congelada" de partes do contexto que se repetem frequentemente. Isso pode ser um prompt do sistema, histórico de conversa ou um grande array de documentos carregados. Na próxima solicitação ao modelo, o provedor não processa esses tokens novamente — recupera-os do cache e cobra significativamente menos por eles.

Para um aplicativo de chat típico, o cache oferece um benefício moderado: o prompt do sistema geralmente é curto. Para agentes, o cenário é fundamentalmente diferente. Um agente faz dezenas de solicitações sequenciais ao modelo durante uma única tarefa.

A cada vez envia a mesma instrução longa, histórico de suas ações anteriores, ferramentas carregadas e documentos. Sem cache, tudo isso é processado e pago novamente a cada etapa — mesmo que 90% do conteúdo não tenha mudado. Um exemplo simples: um agente de pesquisa lê 50 páginas de documentação técnica e faz 30 etapas de raciocínio e chamadas de ferramentas.

Cada etapa puxa o contexto completo de volta ao modelo. Com cache, a primeira chamada é cobrada integralmente, todas as subsequentes são cobradas apenas pelos novos tokens.

Como Deep Agents ativa o cache automaticamente

O LangChain implementou cache de forma que funcione sem envolvimento do desenvolvedor. Não é necessário mergulhar na documentação de cada provedor, definir flags especiais ou reestruturar a arquitetura do agente. O próprio framework determina qual provedor está sendo usado e ativa o mecanismo necessário. Todos os grandes players são suportados:

• Anthropic (Claude) — cache no nível do prompt do sistema e descrições de ferramentas
• OpenAI (GPT-4o, o3) — cache de segmentos de entrada recorrentes
• Google (Gemini) — cache contextual para documentos longos
• Outros provedores compatíveis

Isso significa que o desenvolvedor escreve código uma vez para LangChain Deep Agents e o cache funciona em todos os lugares. Ao mudar de provedor, nenhuma configuração adicional é necessária.

Economia real: até 80% em tokens

A figura "até 80%" é alcançável em cenários específicos — contexto longo recorrente mais muitas etapas de agente. Quanto mais solicitações ao modelo dentro de uma única tarefa e quanto mais longo o trecho imutável do prompt, maior a economia. Para equipes executando agentes em produção, isso significa uma redução significativa na conta da API. Especialmente crítico para cenários enterprise:

• Análise de grandes corpora de documentos
• Pipelines de pesquisa multi-etapas
• Agentes com memória de longo prazo e contexto de ferramenta expandido
• Geradores de conteúdo processando centenas de solicitações por dia

O LangChain enfatiza que o cache de prompts é uma das otimizações mais simples com máximo ROI no desenvolvimento de agentes. Os provedores também estão interessados em expandir esse suporte: menos computação — infraestrutura mais barata para eles próprios.

O que isso significa

Sistemas de agentes ficam caros ao escalar, e cache de prompts já é um dos principais meios de controlar custos. O LangChain remove a barreira de engenharia: desenvolvedores não precisam mais implementar cache por conta própria para cada provedor. Isso reduz a barreira de entrada para desenvolvimento de agentes em produção e torna a execução de agentes economicamente justificada mesmo com orçamento limitado.