LangChain Deep Agents réduit les coûts des LLM de 80 % grâce à la mise en cache des prompts

LangChain Deep Agents réduit les coûts des LLM de 80% grâce à la mise en cache des prompts

LangChain a ajouté la mise en cache automatique des prompts à Deep Agents. Selon l'entreprise, cela réduit les dépenses en tokens LLM jusqu'à 80% sans configuration supplémentaire ni modifications du code de l'agent.

Qu'est-ce que la mise en cache des prompts et pourquoi les agents en ont besoin

La mise en cache des prompts est une technique où un fournisseur de modèle stocke une copie "gelée" des parties du contexte qui se répètent fréquemment. Il peut s'agir d'un prompt système, d'un historique de conversation ou d'un grand ensemble de documents téléchargés. Lors de la prochaine requête au modèle, le fournisseur ne traite pas à nouveau ces tokens — il les récupère du cache et facture beaucoup moins.

Pour une application de chat typique, la mise en cache offre un avantage modéré : le prompt système est généralement court. Pour les agents, le tableau est fondamentalement différent. Un agent fait des dizaines de requêtes séquentielles au modèle au cours d'une seule tâche.

À chaque fois, il envoie la même longue instruction, l'historique de ses actions précédentes, les outils chargés et les documents. Sans mise en cache, tout cela est traité et facturisé à nouveau à chaque étape — même si 90% du contenu n'a pas changé. Un exemple simple : un agent de recherche lit 50 pages de documentation technique, puis effectue 30 étapes de raisonnement et d'appels d'outils.

Chaque étape extrait le contexte complet au modèle. Avec la mise en cache, le premier appel est facturé intégralement, tous les appels suivants ne sont facturés que pour les nouveaux tokens.

Comment Deep Agents active la mise en cache automatiquement

LangChain a implémenté la mise en cache de sorte qu'elle fonctionne sans intervention du développeur. Il n'est pas nécessaire de consulter la documentation de chaque fournisseur, de définir des flags spéciaux ou de restructurer l'architecture de l'agent. Le framework lui-même détermine quel fournisseur est utilisé et active le mécanisme requis. Tous les principaux acteurs sont supportés :

• Anthropic (Claude) — cache au niveau du prompt système et des descriptions d'outils
• OpenAI (GPT-4o, o3) — mise en cache des segments d'entrée répétitifs
• Google (Gemini) — mise en cache contextuelle pour les documents longs
• Autres fournisseurs compatibles

Cela signifie que le développeur écrit du code une seule fois pour LangChain Deep Agents et la mise en cache fonctionne partout. En cas de changement de fournisseur, aucune configuration supplémentaire n'est nécessaire.

Économies réelles : jusqu'à 80% sur les tokens

Le chiffre « jusqu'à 80% » est réalisable dans des scénarios spécifiques — contexte long répétitif plus de nombreuses étapes d'agent. Plus il y a de requêtes au modèle au cours d'une seule tâche et plus longue est la partie inchangée du prompt, plus l'économie est importante. Pour les équipes exécutant des agents en production, cela signifie une réduction significative de la facture API. Particulièrement critique pour les scénarios d'entreprise :

• Analyse de grands corpus de documents
• Pipelines de recherche multi-étapes
• Agents avec mémoire à long terme et contexte d'outils étendu
• Générateurs de contenu traitant des centaines de requêtes par jour

LangChain souligne que la mise en cache des prompts est l'une des optimisations les plus simples avec un ROI maximal dans le développement d'agents. Les fournisseurs sont également intéressés par l'expansion de ce support : moins de calculs — infrastructure moins chère pour eux-mêmes.

Ce que cela signifie

Les systèmes d'agents deviennent coûteux lors de la mise à l'échelle, et la mise en cache des prompts est déjà l'un des principaux moyens de contrôler les coûts. LangChain supprime la barrière d'ingénierie : les développeurs n'ont plus besoin d'implémenter la mise en cache eux-mêmes pour chaque fournisseur. Cela abaisse la barrière d'entrée pour le développement d'agents en production et rend l'exécution d'agents économiquement justifiée même avec un budget limité.