Le prompt caching divise par 6,6 la facture de 30 étapes d'agent : $3,38 → $0,51

Prenons un agent de support qui interroge 30 fois de suite la base de connaissances et le CRM. Le modèle ne garde aucun souvenir de ses appels : à chaque étape, le code qui l'entoure (on l'appelle le harness, l'« enveloppe ») renvoie donc tout : descriptions des outils, règles et historique complet des étapes. Un token est un fragment de texte : c'est l'unité dans laquelle le modèle lit, et celle dans laquelle l'argent se compte.

Dans l'exemple théorique de la première partie de la série « AI-инженерия для тех, кто вкатывается », le modèle a lu 1,63 million de tokens en 30 étapes, alors qu'aucune requête n'a dépassé 96 300. Sans cache, la tâche coûte $3,38 ; avec le prompt caching, $0,51 : 6,6 fois moins. Si vous développez ou financez des agents, cette arithmétique pèse directement sur votre budget.

Que fait un ingénieur IA, et pourquoi le modèle « ne retient rien »

Sur hh.ru, au 28 octobre 2026, 1 458 offres d'emploi mentionnent « AI-агент », 1 261 citent les LLM, 520 le RAG et 245 le MCP. Le « кэширование промптов » (prompt caching) n'apparaît que dans 13 offres, les tokens dans 19. On veut construire des agents en masse, mais on s'interroge à peine sur leur coût.

Suivant Chip Huyen (« AI Engineering »), l'auteur distingue deux rôles. L'ingénieur ML entraîne lui-même le modèle. L'ingénieur IA prend un modèle prêt à l'emploi, par exemple Claude ou GPT, et bâtit un système autour : il lui fournit les données, branche les outils, vérifie le résultat et surveille le coût. Pour lui, le modèle est un service externe, comme une base de données, sauf qu'il répond par du texte et se trompe parfois. Selon l'enquête Stack Overflow 2026, 73 % des développeurs écrivent du code chaque jour avec des assistants et des agents.

Le modèle n'exécute rien lui-même : il répond par du texte ou demande « appelle la fonction get_weather pour Moscou », et c'est votre code qui lance la fonction. Dans la documentation d'Anthropic, la boucle agentique n'est qu'un simple while : requête, appel d'outil, résultat, nouvelle requête, jusqu'à ce que le modèle réponde par du texte. Chaque requête est assemblée dans le même ordre : outils, prompt système, historique.

On étend un agent avec le MCP (standard ouvert de connexion des outils et des données), des skills (dossiers d'instructions ; seule leur description, environ 100 tokens, reste dans le contexte), des sous-agents (assistants dotés de leur propre contexte, qui ne renvoient que le résultat final) et des hooks. Un hook est votre script déclenché par un événement du harness : il peut interdire une action, demander l'avis d'un humain ou lancer un linter. La règle de l'auteur : le skill conseille, le hook garantit.

Combien coûtent 30 étapes d'agent

Tarifs de Sonnet 5.5 au 28 octobre : $2 par million de tokens en entrée et $10 par million en sortie. Le scénario est théorique : 12 mille tokens en tête de chaque requête (outils et prompt système), 200 tokens pour le premier message, et à chaque étape une réponse du modèle de 400 tokens et un résultat d'outil de 2 500.

À la dernière étape, la requête pèse 96 300 tokens, soit moins du dixième de la fenêtre de contexte. Mais chaque étape repaie tout ce qui précède : en 30 étapes, le modèle a donc lu 1,63 million de tokens, soit 17 fois plus. Les réponses du modèle totalisent environ 12 mille tokens, si bien que presque tout l'argent part dans l'entrée. Le total sans cache s'élève à $3,38.

La langue joue aussi, séparément. L'auteur a réalisé une petite mesure sur trois paires de textes identiques (documentation, prose, code), avec environ 1 000 caractères par langue. Sur Sonnet 4.6 et Haiku 4.5, le russe occupait 1,6 fois plus de tokens que l'anglais ; sur Sonnet 5.5, 1,27 fois. La cause n'est pas le russe (402 tokens sont passés à 415), mais l'anglais : il est passé de 252 à 327 tokens à cause d'une nouvelle méthode de découpage du texte. L'échantillon est petit : c'est un ordre de grandeur, pas une étude.

Comment le cache aboutit à un facteur 6,6, et comment ne pas le casser

À l'étape 30, le modèle a déjà lu presque tout le contenu de la requête à l'étape 29 : mêmes outils, même prompt, même historique. Le cache ne retraite pas le début qui se répète et ne le facture que 5–10 % du prix. Vous placez un marqueur (jusqu'à quatre) pour indiquer jusqu'où sauvegarder. La requête suivante n'atteindra le cache que si le début coïncide intégralement, au caractère près. Le cache vit 5 minutes, chaque accès prolonge sa durée, et moyennant un supplément on peut le conserver une heure. Pour les nouveaux modèles Claude, le minimum est de 512 tokens ; si la requête est plus courte, il n'y a pas d'erreur, le cache ne s'active simplement pas.

Avec le cache, les mêmes requêtes coûtent $0,51 au lieu de $3,38. Le casser est facile : modifier la description d'un outil réinitialise toute la requête, tandis qu'une recherche sur internet ou l'heure courante dans le prompt système réinitialisent le prompt et l'historique. Changer tool_choice ou ajouter une image remet l'historique à zéro.

Concrètement : commencez par une seule requête et préférez une chaîne à un agent tant que les étapes peuvent s'écrire dans le code. Gardez ce qui ne change pas au début, ne modifiez pas l'ensemble des outils en cours de session, ne mettez ni dates ni ID aléatoires en tête. Surveillez le champ usage : si cache_read_input_tokens vaut presque toujours zéro, le cache ne fonctionne pas. Confiez le travail bruyant aux sous-agents, déportez les longues instructions dans des skills, implémentez les vérifications obligatoires sous forme de hooks. Donnez à l'agent un moyen de se vérifier — tests, build ou navigateur — sinon il déclarera « terminé » trop tôt.

Mise en garde : le calcul est théorique, et l'économie réelle dépend de la longueur de la tâche, des pauses entre les requêtes et de la stabilité du début de requête. Dans la deuxième partie de la série, l'auteur traitera de la fiabilité — idempotence et durable execution ; dans la troisième, de la différence entre une chaîne et un agent, à l'exemple d'un agent de support.