Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAWS Machine Learning Blog→ original

Amazon Bedrock ajoute la mise en cache explicite des prompts pour les modèles ouverts

Si votre application renvoie à chaque requête une longue instruction ou une documentation complète, vous payez leur traitement encore et encore. Amazon Bedrock pour les modèles ouverts prend désormais en charge la mise en cache explicite des prompts : le préfixe commun n'est calculé qu'une seule fois, puis relu depuis le cache à tarif réduit et plus rapidement. Deux modes existent : le mode implicite fonctionne seul, tandis que le mode explicite exige un marqueur « mettre en cache jusqu'ici ». Il est donc préférable de placer tout le contenu statique en début de prompt et le contenu variable en fin de prompt.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Amazon Bedrock ajoute la mise en cache explicite des prompts pour les modèles ouverts
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1Le mode explicite s'active avec le champ prompt_cache_options et le marqueur prompt_cache_breakpoint
Chiffre clé #2La lecture depuis le cache est facturée moins cher que l'entrée standard, l'écriture coûte plus cher pour certains modèles
Chiffre clé #3OpenCode fonctionne avec le cache implicite sans aucun réglage : chaque étape ne traite que la nouvelle « queue » du contexte

La plupart des applications d'IA envoient à chaque requête le même contenu au modèle : l'instruction système, les documents de référence, les descriptions d'outils et l'historique de la conversation. Vous payez le traitement de cette partie répétitive à chaque fois, et vous attendez à chaque fois aussi. Amazon Bedrock pour les modèles ouverts (open-weight) prend désormais en charge la mise en cache explicite des prompts. Elle permet de calculer le préfixe commun une seule fois, puis de le relire depuis le cache à moindre coût et plus rapidement.

Comment ça fonctionne

Le principe est simple. Si une nouvelle requête commence par le même texte que la précédente, Bedrock reprend le début depuis le cache et ne traite que ce qui suit. La lecture depuis le cache est facturée moins cher qu'un token d'entrée standard. Pour certains modèles, l'écriture dans le cache coûte plus cher que l'entrée standard : il faut donc consulter la grille tarifaire de chaque modèle pour connaître les tarifs exacts. Plus le contexte répété est long et plus il est réutilisé, plus l'économie est importante.

Il existe deux modes. Le mode implicite (implicit) ne demande aucune modification des requêtes : Bedrock sélectionne lui-même les préfixes adaptés, selon le principe du best effort. Il convient bien aux dialogues et aux boucles d'agents, où chaque nouvelle requête contient la précédente.

Le mode explicite (explicit) sert lorsque vous voulez décider vous-même de ce qui est mis en cache. Pour cela, vous transmettez prompt_cache_options avec le mode explicit dans l'API Chat Completions, et placez un marqueur prompt_cache_breakpoint sur la partie texte après laquelle le cache s'arrête. Tout ce qui précède le marqueur, marqueur compris, est écrit dans le cache ; tout ce qui suit est retraité à chaque fois.

Vous pouvez placer plusieurs marqueurs si les couches changent à des rythmes différents, par exemple des instructions générales, puis le document propre à un client.

Attention : un marqueur sans mode explicite fonctionne comme un cache implicite, et le mode explicite sans marqueur ne met rien en cache. Les deux paramètres doivent donc être renseignés ensemble.

Exemple : un assistant de support pour filtre à eau

AWS illustre cela avec un assistant fictif pour le filtre AquaPure 500. Le prompt système contient une instruction et le manuel d'utilisation, d'environ 4 000 tokens, tandis que chaque requête pose une nouvelle question du client. Si le modèle impose une longueur minimale de préfixe, il faut compléter le manuel jusqu'à atteindre ce seuil ; pour un test, un texte factice suffit, car le cache ne retient que la correspondance du préfixe.

Le client est le SDK OpenAI classique, pointé vers le point de terminaison Bedrock. L'authentification passe par une clé d'API à courte durée de vie (12 heures au maximum), générée par la fonction provide_token(), de sorte qu'aucune clé longue durée n'a besoin d'être conservée. Dans la réponse, usage.prompt_tokens_details indique combien de tokens ont été lus depuis le cache (cached_tokens) et combien ont été écrits (cache_write_tokens).

En mode implicite, le comportement est le suivant : le premier appel écrit le prompt dans le cache, les deuxième et troisième lisent l'instruction et le manuel depuis le cache, mais ajoutent quelques tokens supplémentaires, car le préfixe s'allonge avec la nouvelle question. En mode explicite, seul le premier appel écrit ; les suivants n'écrivent rien, et la question placée après le marqueur reste simplement une partie non mise en cache. Cette approche est avantageuse lorsque l'écriture coûte plus cher que la lecture et que vous ne voulez pas payer la mise en cache de questions qui ne reviendront plus.

Point important : en mode implicite, le manuel et la question doivent figurer dans des messages distincts (system et user). Lorsqu'AWS les a envoyés dans un seul message utilisateur, aucune réutilisation du cache n'a eu lieu.

L'agent de code OpenCode

Les agents de code renvoient à chaque étape un grand préfixe stable : prompt système, descriptions d'outils et historique. Ils se prêtent donc naturellement au cache implicite. AWS a connecté l'agent ouvert OpenCode (version 1.

18.35) au même point de terminaison, via un fournisseur personnalisé compatible OpenAI. Dans une session de trois tours, la première requête traite l'intégralité du prompt et l'écrit dans le cache, puis les suivantes relisent tout ce qui précède la fin de la requête précédente et ne traitent que la nouvelle queue.

Aucun réglage de mise en cache n'a été nécessaire. Limite : OpenCode dans cette version n'enregistre pas cache_write_tokens pour ce type de fournisseur, si bien que le champ cache.write reste à zéro.

Les graphiques de l'article sont présentés à titre illustratif ; AWS n'indique pas de pourcentage d'économie précis.

Que faire concrètement

  • Placez le contenu statique en début de prompt : instruction système, outils, documents. Envoyez les horodatages et les identifiants de requête en fin de prompt.
  • Vérifiez que le préfixe est suffisamment long : chaque modèle impose un seuil minimal de tokens.
  • Consultez les champs usage de chaque réponse et, pour l'ensemble de la charge, les métriques CacheReadInputTokenCount et CacheWriteInputTokenCount.
  • Maintenez le cache à chaud : la durée de vie (TTL) est remise à zéro à chaque réutilisation, et après une pause plus longue que le TTL, le préfixe doit être réécrit.
  • Ne mettez en cache que ce qui est réellement répété. En inférence inter-régions aux heures de pointe, des écritures supplémentaires dans le cache sont possibles.

La prise en charge des modes, la longueur minimale du préfixe, le nombre de marqueurs et le TTL dépendent du modèle et de la région : vérifiez d'abord la fiche du modèle. Selon AWS, les prompts et les réponses ne sont transmis ni au fournisseur du modèle ni utilisés pour l'entraînement.

Dossier

Questions clés sur cet article

Comment ça fonctionne?

Le principe est simple. Si une nouvelle requête commence par le même texte que la précédente, Bedrock reprend le début depuis le cache et ne traite que ce qui suit. La lecture depuis le cache est facturée moins cher qu'un token d'entrée standard. Pour certains modèles, l'écriture dans le cache coûte plus cher que l'entrée standard : il faut donc consulter la grille tarifaire de chaque modèle pour connaître les tarifs exacts. Plus le contexte répété est long et plus il est réutilisé, plus l'économie est importante.

Que sait-on sur Exemple : un assistant de support pour filtre à eau ?

AWS illustre cela avec un assistant fictif pour le filtre AquaPure 500. Le prompt système contient une instruction et le manuel d'utilisation, d'environ 4 000 tokens, tandis que chaque requête pose une nouvelle question du client. Si le modèle impose une longueur minimale de préfixe, il faut compléter le manuel jusqu'à atteindre ce seuil ; pour un test, un texte factice suffit, car le cache ne retient que la correspondance du préfixe.

Que sait-on sur L'agent de code OpenCode ?

Les agents de code renvoient à chaque étape un grand préfixe stable : prompt système, descriptions d'outils et historique. Ils se prêtent donc naturellement au cache implicite. AWS a connecté l'agent ouvert OpenCode (version 1.18.35) au même point de terminaison, via un fournisseur personnalisé compatible OpenAI.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…