Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAWS Machine Learning Blog→ original

ArisGlobal réduit de 40% sa facture d'IA en mettant en cache le prompt commun plutôt que le PDF

L'IA d'ArisGlobal analyse les rapports d'effets indésirables de médicaments, et le prompt commun aux laboratoires pharmaceutiques est passé de 72 000 à 180 000 tokens. L'entreprise mettait d'abord en cache le PDF de 10 à 200 pages, mais il est unique pour chaque cas. Désormais, les règles communes passent en premier : 65% des tokens d'entrée viennent du cache et la facture d'inférence a baissé d'environ 40%. La leçon : mettez en cache ce qui se répète, pas ce qui est le plus volumineux.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
ArisGlobal réduit de 40% sa facture d'IA en mettant en cache le prompt commun plutôt que le PDF
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1Le prix effectif des tokens d'entrée a baissé d'environ 50%
Chiffre clé #2La latence des requêtes en cache a diminué jusqu'à 25%
Chiffre clé #3La base clients a progressé de 15% sans hausse proportionnelle des coûts

Si vous développez un produit d'IA pour plusieurs clients en entreprise, vous connaissez le problème : le prompt système enfle avec le temps. Chaque client apporte ses règles et ses exemples, et le modèle les relit à chaque requête, ce qui se facture. ArisGlobal, éditeur de logiciels pour l'industrie pharmaceutique, a expliqué sur le blog d'AWS comment elle a réduit d'environ 40% sa facture mensuelle d'inférence (le fonctionnement du modèle).

Elle n'a pas raccourci le prompt : elle a changé l'ordre de ses parties. Amazon Bedrock sait mettre en cache le début d'une requête : si la requête suivante commence par le même texte, ce segment est lu depuis le cache à tarif réduit. Auparavant, ArisGlobal mettait en cache le document PDF, qui change à chaque cas, et payait plein tarif les instructions communes.

Désormais, 65% des tokens d'entrée proviennent du cache, et le prix effectif de l'entrée a baissé d'environ 50%.

D'où vient la hausse de la facture

Le moteur d'IA NavaX d'ArisGlobal tourne sur Amazon Bedrock avec des modèles Claude. Il traite les signalements d'effets indésirables de médicaments : un PDF de 10 à 200 pages. L'agent en extrait environ 130 champs : données du patient, médicament suspecté, chronologie des événements, critères de gravité et classification réglementaire. Il procède par une série de requêtes, chacune couvrant une section du formulaire.

Quatre blocs se répètent dans chaque requête : les instructions système, les règles du laboratoire concerné, le schéma d'extraction avec ses exemples, et le document lui-même. Tant qu'il n'y avait qu'un client, le prompt restait compact. Puis de nouveaux clients sont arrivés, chacun avec ses exigences : comment consigner le début de la réaction, quel format utiliser pour l'UE, la FDA ou le régulateur japonais, comment évaluer la gravité d'un cas. En 6 mois, la partie commune du prompt est passée de 72 000 à 180 000 tokens, soit une hausse de 150%. Le coût de traitement d'un cas a augmenté de plus de 200%, car cette partie était retraitée à chaque requête.

Ce qui a changé

Le cache de Bedrock fonctionne par préfixe : il met en cache un segment continu, du début de la requête jusqu'à un point de contrôle. Tout ce qui suit ce point est facturé plein tarif. L'équipe a d'abord mis en cache, logiquement, le plus gros bloc, c'est-à-dire le document, et l'a placé en premier. Au sein d'un même cas, cela fonctionnait : la première requête écrivait le PDF dans le cache, les suivantes le lisaient à bas coût. Mais le cas suivant apportait un autre PDF, et le cache repartait de zéro. Le prompt commun, devenu énorme, se trouvait après le point de contrôle et était facturé en totalité à chaque requête.

Le nouveau schéma réordonne les blocs. D'abord le préfixe commun : règles système, schéma, exemples. Ensuite le point de contrôle, et seulement après lui le document et la question sur la section concernée. Le même checkpoint produit désormais un cache lu par toutes les requêtes, tous les cas et tous les clients utilisant cet agent. La règle simple de l'article : mettez en cache ce qui se répète, pas ce qui est le plus gros. Un document de 200 pages est volumineux, mais il n'est presque jamais réutilisé.

Par défaut, le cache vit 5 minutes, et chaque accès prolonge sa durée. Sur les comptes actifs, un nouveau cas arrive environ toutes les 5 minutes par client, et il y a plusieurs clients : le préfixe commun reste donc « chaud » pendant les heures de travail. Pour certains modèles, on peut choisir un TTL de 1 heure.

Chiffres et limites

Selon les données d'ArisGlobal transmises à AWS, pour un volume de plus de 19 milliards de tokens par mois, les résultats sont les suivants :

  • 65% des tokens d'entrée d'une requête type proviennent du cache ;
  • le prix effectif de l'entrée est inférieur d'environ 50% ;
  • la facture mensuelle globale d'inférence est inférieure d'environ 40% ;
  • la latence des requêtes en cache a diminué jusqu'à 25% ;
  • environ 15% de clients entreprise supplémentaires ont été raccordés à la plateforme, sans hausse proportionnelle des coûts.

Le routage au sein de l'UE via l'inférence inter-régions n'a pas changé. Dans CloudWatch, en période de charge, les lectures du cache sont environ 10 fois plus nombreuses que les écritures.

Il y a des réserves. Ce sont les données de l'entreprise elle-même, et AWS précise explicitement que le résultat dépend de la structure du prompt, du trafic et du taux de succès du cache. L'équipe a renoncé à la réutilisation du document au sein d'un cas : le PDF est donc désormais traité plein tarif à chaque requête. Un second checkpoint après le document est inutile : une telle entrée est unique à un seul cas. Pour Claude Sonnet 4.5, la taille minimale du préfixe pouvant être mis en cache est de 1 024 tokens, et une requête admet jusqu'à quatre checkpoints.

Que faire en pratique

Placez au début de la requête tout ce qui est stable : descriptions des outils, instructions système, schémas et exemples. Laissez après le point de contrôle les données du client, le document et la question. Veillez à ce que le préfixe soit identique à l'octet près : un horodatage, un ID aléatoire ou un autre ordre des outils provoqueront un échec de cache. Enfin, surveillez dans CloudWatch les lectures et écritures du cache. Si le taux de succès tombe durablement sous votre niveau habituel (chez ArisGlobal, 65%), quelque chose a cassé le préfixe.

Pour les équipes qui exploitent des agents multi-clients, la conclusion est directe : avant de raccourcir le prompt, vérifiez ce qui se trouve avant le point de contrôle du cache. Réordonner les blocs n'exige pas de réécrire le pipeline, et sur de gros volumes, le gain est immédiat.

Dossier

Questions clés sur cet article

Que sait-on sur D'où vient la hausse de la facture ?

Le moteur d'IA NavaX d'ArisGlobal tourne sur Amazon Bedrock avec des modèles Claude. Il traite les signalements d'effets indésirables de médicaments : un PDF de 10 à 200 pages. L'agent en extrait environ 130 champs : données du patient, médicament suspecté, chronologie des événements, critères de gravité et classification réglementaire. Il procède par une série de requêtes, chacune couvrant une section du formulaire.

Que sait-on sur Ce qui a changé ?

Le cache de Bedrock fonctionne par préfixe : il met en cache un segment continu, du début de la requête jusqu'à un point de contrôle. Tout ce qui suit ce point est facturé plein tarif. L'équipe a d'abord mis en cache, logiquement, le plus gros bloc, c'est-à-dire le document, et l'a placé en premier. Au sein d'un même cas, cela fonctionnait : la première requête écrivait le PDF dans le cache, les suivantes le lisaient à bas coût. Mais le cas suivant apportait un autre PDF, et le cache repartait de zéro.

Que sait-on sur Chiffres et limites ?

Selon les données d'ArisGlobal transmises à AWS, pour un volume de plus de 19 milliards de tokens par mois, les résultats sont les suivants : 65% des tokens d'entrée d'une requête type proviennent du cache ; le prix effectif de l'entrée est inférieur d'environ 50% ; la facture mensuelle globale d'inférence est inférieure d'environ 40% ; la latence des requêtes en cache a diminué jusqu'à 25% ; environ 15% de clients entreprise supplémentaires ont été raccordés à la plateforme, sans hausse proportionnelle des coûts.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…