AWS : le cache de prompts a réduit de 62 % le coût des tokens d'entrée d'un agent IA
À chaque étape, l'agent renvoie au modèle tous les outils, instructions et l'historique, et vous payez ces tokens à nouveau. Sur les modèles OpenAI dans Bedrock, AWS montre comment le cache mémorise le début d'une requête qui ne change pas et ne facture qu'une fraction de son prix. Dans le test à six tours avec GPT-6 Astra, le coût des tokens d'entrée a baissé d'environ 62 % par rapport à un fonctionnement sans cache. Placez donc les outils et les instructions au début du prompt, et la date et l'ID de requête à la fin.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Imaginez que votre agent IA se réveille chaque matin comme le héros de « Un jour sans fin », sans aucun souvenir. C'est exactement le cas : un modèle n'a pas de mémoire entre deux requêtes. À chaque étape (appeler un outil, lire le résultat, décider de la suite), l'agent renvoie au modèle tout son historique : descriptions des outils, instructions, chaque appel passé et chaque résultat.
Au vingtième tour d'une session de codage, le modèle relit les tours un à dix-neuf, et vous payez chacun de ces tokens d'entrée encore et encore. Dans son blog, AWS montre comment remédier à cela avec le cache de prompts sur les modèles OpenAI dans Amazon Bedrock. Dans le test à six tours sur GPT-6 Astra, le coût des tokens d'entrée s'est révélé environ 62 % inférieur à celui d'un fonctionnement sans cache.
Comment fonctionne le cache et que faut-il y mettre
Avant de répondre, le modèle traite l'intégralité du texte d'entrée et en construit un état de travail : un ensemble de clés et de valeurs (KV). Le cache conserve cet état. Si la requête suivante commence par les mêmes tokens, le service charge l'état sauvegardé et ne calcule que la nouvelle partie. Les tokens lus depuis le cache coûtent nettement moins cher que les tokens ordinaires.
Une requête d'agent se compose de quatre parties : la liste des outils, les instructions du développeur, l'historique de la session et le nouveau tour. Les deux premières ne changent qu'avec une nouvelle version, l'historique grandit, et la dernière partie varie à chaque fois. D'où la règle pratique : tout ce qui est stable va au début, tout ce qui varie (date, nom d'utilisateur, ID de requête) se place après les instructions mises en cache. Le cache ne se déclenche qu'en cas de correspondance exacte du texte. Il faut donc sérialiser les outils de la même façon à chaque requête, y compris lorsqu'ils proviennent de serveurs MCP.
Il existe deux modes. En mode implicite, Bedrock décide lui-même où se termine le début réutilisable de la requête. En mode explicite, vous placez un marqueur prompt_cache_breakpoint à l'endroit où vous voulez arrêter la sauvegarde.
AWS conseille de combiner les deux : un marqueur explicite après les instructions crée un point de départ commun pour différentes sessions et agents auxiliaires, tandis que le mode implicite met en cache le dialogue qui s'allonge. Il faut aussi tenir compte de la taille minimale : le préfixe mis en cache doit faire au moins 1024 tokens. Dans les exemples, la durée de vie du cache est de 30 minutes, et le paramètre prompt_cache_key indique au service quelles requêtes doivent partager un même cache.
Le paramètre store=False désactive la conservation des réponses, mais pas la mise en cache : l'historique reste dans votre application.
Les chiffres du test
Dans l'un des tests, le préfixe composé des outils et des instructions occupait environ 4000 tokens. À la première requête, 4120 tokens ont été écrits ; aux suivantes, ces mêmes 4120 tokens ont été lus depuis le cache. La question de l'utilisateur se trouve après la limite du cache, si bien qu'elle ne déclenche pas de nouvelle écriture.
Sur la charge à six tours, GPT-6 Astra a obtenu le meilleur résultat en mode implicite : un coût d'entrée environ 62 % inférieur à celui d'un fonctionnement sans cache. Les marqueurs explicites glissants ont donné environ 61 % sur le même modèle. Dans les deux cas, le cache a réutilisé une part croissante de l'historique à mesure que le dialogue s'allongeait. AWS précise d'emblée que ces chiffres correspondent à une charge donnée et qu'il faut mesurer soi-même les économies de son propre agent. La réponse de l'API fournit pour cela les compteurs cached_tokens et cache_write_tokens.
Erreurs fréquentes et que faire
La première erreur ne concerne que le mode explicite. Si l'on ne garde qu'un marqueur statique, les outils et les instructions sont mis en cache, mais l'historique qui s'allonge est retraité à chaque tour. La deuxième consiste à déplacer le marqueur unique vers l'avant : le cache peut alors ne pas être réutilisé, c'est pourquoi il vaut mieux conserver les marqueurs des tours précédents dans l'historique. La troisième concerne le mode implicite et une tâche qui change : la nouvelle tâche ne correspond pas à l'ancien préfixe, et sans marqueur explicite placé après les instructions communes, le court préfixe commun ne sera pas conservé dans une entrée distincte.
Il existe aussi une limite : les chiffres de l'article ont été obtenus sur un seul modèle et une seule charge à six tours. Pour un agent qui produit de longues réponses d'outils ou modifie souvent son prompt, les économies seront différentes.
Que faire, côté développeur d'agents ? D'abord, mettez de l'ordre dans le prompt : le stable au début, le variable à la fin, une sérialisation identique des outils. Ensuite, combinez les deux schémas : un marqueur explicite après les instructions et le mode implicite pour l'historique. Enfin, journalisez dès maintenant la part de tokens lus depuis le cache. Si elle est faible, c'est qu'un texte change au début de la requête, et vous payez alors plus cher à chaque tour.
- 22 nov. 2026Les analystes ont fait le calcul : en 2028, 87 % de l'électricité d'Anthropic viendra du gaz, 11 % du charbon
- 22 nov. 2026AWS Quick reçoit un connecteur Meta Ads : campagnes et rapports à partir d'une simple requête texte
- 22 nov. 2026Le projet personnel de LangChain est devenu une start-up valorisée 3 milliards de dollars en quatre ans et a levé 300 millions
- 21 nov. 2026Amazon offre l'agent IA AWS Quick avec Claude gratuitement, le forfait Plus coûte 25 $ par mois
Questions clés sur cet article
Comment fonctionne le cache et que faut-il y mettre?
Avant de répondre, le modèle traite l'intégralité du texte d'entrée et en construit un état de travail : un ensemble de clés et de valeurs (KV). Le cache conserve cet état. Si la requête suivante commence par les mêmes tokens, le service charge l'état sauvegardé et ne calcule que la nouvelle partie. Les tokens lus depuis le cache coûtent nettement moins cher que les tokens ordinaires.
Que sait-on sur Les chiffres du test ?
Dans l'un des tests, le préfixe composé des outils et des instructions occupait environ 4000 tokens. À la première requête, 4120 tokens ont été écrits ; aux suivantes, ces mêmes 4120 tokens ont été lus depuis le cache. La question de l'utilisateur se trouve après la limite du cache, si bien qu'elle ne déclenche pas de nouvelle écriture. Sur la charge à six tours, GPT-6 Astra a obtenu le meilleur résultat en mode implicite : un coût d'entrée environ 62 % inférieur à celui d'un fonctionnement sans cache.
Que sait-on sur Erreurs fréquentes et que faire ?
La première erreur ne concerne que le mode explicite. Si l'on ne garde qu'un marqueur statique, les outils et les instructions sont mis en cache, mais l'historique qui s'allonge est retraité à chaque tour. La deuxième consiste à déplacer le marqueur unique vers l'avant : le cache peut alors ne pas être réutilisé, c'est pourquoi il vaut mieux conserver les marqueurs des tours précédents dans l'historique.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.