Le cache de prompts divise par 6,6 la facture de 30 étapes d'un agent : 3,38 $ → 0,51 $

Imaginez un agent de support qui interroge 30 fois de suite la base de connaissances et le CRM. Le modèle ne retient rien, si bien qu'à chaque étape, le code qui l'entoure (appelé harness, ou « harnais ») renvoie tout : descriptions des outils, règles et historique complet des étapes. Un token est un morceau de texte, l'unité dans laquelle le modèle lit et dans laquelle l'argent se compte.

Dans l'exemple théorique de la première partie de la série « AI-ingénierie pour ceux qui s'y mettent », le modèle a lu 1,63 million de tokens en 30 étapes, alors qu'aucune requête n'a dépassé 96 300. Sans cache, la tâche coûte 3,38 $ ; avec le cache de prompts, 0,51 $, soit 6,6 fois moins. Si vous écrivez ou financez des agents, ce calcul pèse directement sur votre budget.

Ce que fait un ingénieur IA et pourquoi le modèle « ne retient rien »

Sur hh.ru, au 28 octobre 2026, 1 458 offres mentionnent « AI-agent », 1 261 citent les LLM, 520 le RAG et 245 le MCP. Le « cache de prompts » n'apparaît que dans 13 offres, les tokens dans 19. On veut construire des agents en masse, mais on s'interroge à peine sur leur coût.

À la suite de Chip Huyen (« AI Engineering »), l'auteur distingue les rôles. L'ingénieur ML entraîne lui-même le modèle. L'ingénieur IA prend un modèle prêt à l'emploi, comme Claude ou GPT, et bâtit un système autour : il fournit les données, branche les outils, vérifie le résultat et surveille le coût. Pour lui, le modèle est un service externe, comparable à une base de données, sauf qu'il répond en texte et se trompe parfois. Selon l'enquête Stack Overflow 2026, 73 % des développeurs écrivent du code chaque jour avec des assistants et des agents.

Le modèle n'exécute rien lui-même : il répond par du texte ou demande « appelle la fonction get_weather pour Moscou », et c'est votre code qui lance la fonction. Dans la documentation d'Anthropic, la boucle agentique est un simple while : requête, appel d'outil, résultat, nouvelle requête, jusqu'à ce que le modèle réponde par du texte. Chaque requête est assemblée dans le même ordre : outils, prompt système, historique.

On étend l'agent via MCP (standard ouvert de connexion des outils et des données), des skills (dossiers d'instructions ; seule leur description, d'environ 100 tokens, reste dans le contexte), des sous-agents (assistants dotés de leur propre contexte, qui ne renvoient que le résultat final) et des hooks. Un hook est votre script déclenché par un événement du harnais : il peut interdire une action, demander l'avis d'un humain ou lancer un linter. La règle de l'auteur : le skill conseille, le hook garantit.

Combien coûtent 30 étapes d'un agent

Tarifs de Sonnet 5.5 au 28 octobre : 2 $ par million de tokens en entrée et 10 $ par million en sortie. Le scénario est théorique : 12 000 tokens au début de chaque requête (outils et prompt système), 200 tokens pour le premier message et, à chaque étape, une réponse du modèle de 400 tokens et un résultat d'outil de 2 500.

À la dernière étape, la requête pèse 96 300 tokens, moins d'un dixième de la fenêtre de contexte. Mais chaque étape repaie l'intégralité des précédentes : en 30 étapes, le modèle a donc lu 1,63 million de tokens, soit 17 fois plus. Les réponses du modèle totalisent environ 12 000 tokens, de sorte que presque tout l'argent part dans l'entrée. Total sans cache : 3,38 $.

La langue joue aussi. L'auteur a réalisé une petite mesure sur trois paires de textes identiques (documentation, prose, code), d'environ 1 000 caractères par langue. Sur Sonnet 4.6 et Haiku 4.5, le russe occupait 1,6 fois plus de tokens que l'anglais ; sur Sonnet 5.5, 1,27 fois. La cause ne vient pas du russe (402 tokens sont devenus 415), mais de l'anglais : il est passé de 252 à 327 tokens en raison d'une nouvelle méthode de découpage du texte. L'échantillon est petit : c'est un ordre de grandeur, pas une étude.

Comment le cache atteint 6,6 fois et comment ne pas le casser

À l'étape 30, le modèle a déjà lu presque tout le contenu de la requête à l'étape 29 : mêmes outils, même prompt, même historique. Le cache ne retraite pas le début répété et le facture de 5 % à 10 % du prix. Vous posez un marqueur (jusqu'à quatre) pour indiquer jusqu'où sauvegarder. La requête suivante n'atteindra le cache que si le début correspond parfaitement, au caractère près. Le cache dure 5 minutes, chaque accès prolonge la durée et, moyennant un supplément, on peut le conserver une heure. Le minimum pour les nouveaux modèles Claude est de 512 tokens ; si la requête est plus courte, il n'y aura pas d'erreur, le cache ne s'activera simplement pas.

Avec le cache, les mêmes requêtes coûtent 0,51 $ au lieu de 3,38 $. Le casser est facile : modifier la description d'un outil invalide toute la requête, et une recherche web ou l'heure courante dans le prompt système invalident le prompt et l'historique. Changer tool_choice ou ajouter une image remet l'historique à zéro.

En pratique : commencez par une seule requête et préférez une chaîne à un agent tant que les étapes peuvent s'écrire dans le code. Gardez l'invariant au début, ne changez pas l'ensemble d'outils en pleine session, ne placez ni dates ni ID aléatoires en tête. Surveillez le champ usage : si cache_read_input_tokens est presque toujours à zéro, le cache ne fonctionne pas. Confiez le travail bruyant aux sous-agents, déplacez les longues instructions dans des skills et imposez les vérifications obligatoires par des hooks. Donnez à l'agent un moyen de se vérifier — tests, build ou navigateur — sans quoi il déclarera « terminé » trop tôt.

Réserve : le calcul est théorique, et l'économie réelle dépend de la longueur de la tâche, des pauses entre les requêtes et de la stabilité du début de requête. Dans la deuxième partie de la série, l'auteur traitera de la fiabilité — idempotence et durable execution ; dans la troisième, de la différence entre chaîne et agent, à partir de l'exemple de l'agent de support.