ArisGlobal réduit de 40% sa facture d'IA en mettant en cache le prompt commun plutôt que le PDF
L'IA d'ArisGlobal analyse les rapports d'effets indésirables de médicaments, et le prompt commun aux laboratoires pharmaceutiques est passé de 72 000 à 180 000 tokens. L'entreprise mettait d'abord en cache le PDF de 10 à 200 pages, mais il est unique pour chaque cas. Désormais, les règles communes passent en premier : 65% des tokens d'entrée viennent du cache et la facture d'inférence a baissé d'environ 40%. La leçon : mettez en cache ce qui se répète, pas ce qui est le plus volumineux.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Si vous développez un produit d'IA pour plusieurs clients en entreprise, vous connaissez le problème : le prompt système enfle avec le temps. Chaque client apporte ses règles et ses exemples, et le modèle les relit à chaque requête, ce qui se facture. ArisGlobal, éditeur de logiciels pour l'industrie pharmaceutique, a expliqué sur le blog d'AWS comment elle a réduit d'environ 40% sa facture mensuelle d'inférence (le fonctionnement du modèle).
Elle n'a pas raccourci le prompt : elle a changé l'ordre de ses parties. Amazon Bedrock sait mettre en cache le début d'une requête : si la requête suivante commence par le même texte, ce segment est lu depuis le cache à tarif réduit. Auparavant, ArisGlobal mettait en cache le document PDF, qui change à chaque cas, et payait plein tarif les instructions communes.
Désormais, 65% des tokens d'entrée proviennent du cache, et le prix effectif de l'entrée a baissé d'environ 50%.
D'où vient la hausse de la facture
Le moteur d'IA NavaX d'ArisGlobal tourne sur Amazon Bedrock avec des modèles Claude. Il traite les signalements d'effets indésirables de médicaments : un PDF de 10 à 200 pages. L'agent en extrait environ 130 champs : données du patient, médicament suspecté, chronologie des événements, critères de gravité et classification réglementaire. Il procède par une série de requêtes, chacune couvrant une section du formulaire.
Quatre blocs se répètent dans chaque requête : les instructions système, les règles du laboratoire concerné, le schéma d'extraction avec ses exemples, et le document lui-même. Tant qu'il n'y avait qu'un client, le prompt restait compact. Puis de nouveaux clients sont arrivés, chacun avec ses exigences : comment consigner le début de la réaction, quel format utiliser pour l'UE, la FDA ou le régulateur japonais, comment évaluer la gravité d'un cas. En 6 mois, la partie commune du prompt est passée de 72 000 à 180 000 tokens, soit une hausse de 150%. Le coût de traitement d'un cas a augmenté de plus de 200%, car cette partie était retraitée à chaque requête.
Ce qui a changé
Le cache de Bedrock fonctionne par préfixe : il met en cache un segment continu, du début de la requête jusqu'à un point de contrôle. Tout ce qui suit ce point est facturé plein tarif. L'équipe a d'abord mis en cache, logiquement, le plus gros bloc, c'est-à-dire le document, et l'a placé en premier. Au sein d'un même cas, cela fonctionnait : la première requête écrivait le PDF dans le cache, les suivantes le lisaient à bas coût. Mais le cas suivant apportait un autre PDF, et le cache repartait de zéro. Le prompt commun, devenu énorme, se trouvait après le point de contrôle et était facturé en totalité à chaque requête.
Le nouveau schéma réordonne les blocs. D'abord le préfixe commun : règles système, schéma, exemples. Ensuite le point de contrôle, et seulement après lui le document et la question sur la section concernée. Le même checkpoint produit désormais un cache lu par toutes les requêtes, tous les cas et tous les clients utilisant cet agent. La règle simple de l'article : mettez en cache ce qui se répète, pas ce qui est le plus gros. Un document de 200 pages est volumineux, mais il n'est presque jamais réutilisé.
Par défaut, le cache vit 5 minutes, et chaque accès prolonge sa durée. Sur les comptes actifs, un nouveau cas arrive environ toutes les 5 minutes par client, et il y a plusieurs clients : le préfixe commun reste donc « chaud » pendant les heures de travail. Pour certains modèles, on peut choisir un TTL de 1 heure.
Chiffres et limites
Selon les données d'ArisGlobal transmises à AWS, pour un volume de plus de 19 milliards de tokens par mois, les résultats sont les suivants :
- 65% des tokens d'entrée d'une requête type proviennent du cache ;
- le prix effectif de l'entrée est inférieur d'environ 50% ;
- la facture mensuelle globale d'inférence est inférieure d'environ 40% ;
- la latence des requêtes en cache a diminué jusqu'à 25% ;
- environ 15% de clients entreprise supplémentaires ont été raccordés à la plateforme, sans hausse proportionnelle des coûts.
Le routage au sein de l'UE via l'inférence inter-régions n'a pas changé. Dans CloudWatch, en période de charge, les lectures du cache sont environ 10 fois plus nombreuses que les écritures.
Il y a des réserves. Ce sont les données de l'entreprise elle-même, et AWS précise explicitement que le résultat dépend de la structure du prompt, du trafic et du taux de succès du cache. L'équipe a renoncé à la réutilisation du document au sein d'un cas : le PDF est donc désormais traité plein tarif à chaque requête. Un second checkpoint après le document est inutile : une telle entrée est unique à un seul cas. Pour Claude Sonnet 4.5, la taille minimale du préfixe pouvant être mis en cache est de 1 024 tokens, et une requête admet jusqu'à quatre checkpoints.
Que faire en pratique
Placez au début de la requête tout ce qui est stable : descriptions des outils, instructions système, schémas et exemples. Laissez après le point de contrôle les données du client, le document et la question. Veillez à ce que le préfixe soit identique à l'octet près : un horodatage, un ID aléatoire ou un autre ordre des outils provoqueront un échec de cache. Enfin, surveillez dans CloudWatch les lectures et écritures du cache. Si le taux de succès tombe durablement sous votre niveau habituel (chez ArisGlobal, 65%), quelque chose a cassé le préfixe.
Pour les équipes qui exploitent des agents multi-clients, la conclusion est directe : avant de raccourcir le prompt, vérifiez ce qui se trouve avant le point de contrôle du cache. Réordonner les blocs n'exige pas de réécrire le pipeline, et sur de gros volumes, le gain est immédiat.
- 18 nov. 2026Un agent IA ne laisse que 27 minutes de réaction au SOC, contre 53 face à un attaquant junior
- 18 nov. 2026Garry Tan supprime le skill /investigate : 50,0% contre 47,2% de réussite, un correctif 43% plus cher
- 18 nov. 2026Après le bannissement, l'auteur fait tourner une équipe d'agents dans Kimi, Codex et OpenCode : un run dès $0,30
- 18 nov. 2026Le plugin TokenEconomizer réduit de 18,4–30,9% le coût des agents IA de code, sans changer de modèle
Questions clés sur cet article
Que sait-on sur D'où vient la hausse de la facture ?
Le moteur d'IA NavaX d'ArisGlobal tourne sur Amazon Bedrock avec des modèles Claude. Il traite les signalements d'effets indésirables de médicaments : un PDF de 10 à 200 pages. L'agent en extrait environ 130 champs : données du patient, médicament suspecté, chronologie des événements, critères de gravité et classification réglementaire. Il procède par une série de requêtes, chacune couvrant une section du formulaire.
Que sait-on sur Ce qui a changé ?
Le cache de Bedrock fonctionne par préfixe : il met en cache un segment continu, du début de la requête jusqu'à un point de contrôle. Tout ce qui suit ce point est facturé plein tarif. L'équipe a d'abord mis en cache, logiquement, le plus gros bloc, c'est-à-dire le document, et l'a placé en premier. Au sein d'un même cas, cela fonctionnait : la première requête écrivait le PDF dans le cache, les suivantes le lisaient à bas coût. Mais le cas suivant apportait un autre PDF, et le cache repartait de zéro.
Que sait-on sur Chiffres et limites ?
Selon les données d'ArisGlobal transmises à AWS, pour un volume de plus de 19 milliards de tokens par mois, les résultats sont les suivants : 65% des tokens d'entrée d'une requête type proviennent du cache ; le prix effectif de l'entrée est inférieur d'environ 50% ; la facture mensuelle globale d'inférence est inférieure d'environ 40% ; la latence des requêtes en cache a diminué jusqu'à 25% ; environ 15% de clients entreprise supplémentaires ont été raccordés à la plateforme, sans hausse proportionnelle des coûts.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.