Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarAWS Machine Learning Blog→ original

AWS propose à vos agents un skill de cache KV partagé pour LLM : jusqu'à 40 % moins cher, premier token 80 % plus vite

Si vous hébergez un LLM sur vos GPU, après une pause le serveur recalcule tout l'historique de la conversation (cache KV) : un juriste attend alors 13 secondes avant le premier token. AWS publie un skill pour Claude Code, Kiro et Codex : l'agent évalue l'intérêt d'un cache partagé sur ElastiCache et le déploie lui-même. AWS annonce jusqu'à 40 % d'économies sur l'inférence et jusqu'à 80 % de réduction du délai avant le premier token (TTFT). Commencez par mesurer le gain sur votre propre trafic.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
AWS propose à vos agents un skill de cache KV partagé pour LLM : jusqu'à 40 % moins cher, premier token 80 % plus vite
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1Fonctionne dans Kiro, Claude Code, OpenAI Codex et d'autres agents compatibles Agent Skills
Chiffre clé #2KVTrace calcule gratuitement le gain sur votre trafic avant tout lancement
Chiffre clé #3L'agent ne crée ni ne supprime de ressources sans votre confirmation

Imaginez un assistant juridique basé sur l'IA, qui tourne sur vos propres GPU. Dans une seule conversation, l'historique du dossier atteint des centaines de milliers de tokens. Le juriste reprend l'échange après le déjeuner, mais la requête atterrit sur un serveur qui n'a pas cet historique en mémoire. Le GPU recalcule alors le cache KV, c'est-à-dire les « notes » internes du modèle sur chaque token du texte déjà lu. Cette étape s'appelle le prefill, et pendant qu'elle tourne, l'utilisateur ne voit pas un seul mot. Dans l'exemple d'AWS, avec un contexte de 64 000 tokens, le premier token arrivait au bout de 13 secondes. On parle de TTFT (time to first token) pour désigner ce délai.

AWS propose de sortir le cache de la mémoire de chaque serveur pour le placer dans une couche partagée, à côté du parc de GPU, sur Amazon ElastiCache. Ainsi, n'importe quel serveur récupère l'état déjà calculé, même si la requête est partie sur une autre machine ou si l'ancien serveur est tombé. Selon AWS, ce cache KV distribué réduit le coût d'inférence jusqu'à 40 % et le TTFT jusqu'à 80 %.

Ce sont les valeurs maximales citées par l'entreprise, pas une garantie pour toute charge de travail. La nouveauté tient surtout au fait que la configuration est livrée sous forme de skill prêt à l'emploi dans Agent Toolkit for AWS. Il fonctionne dans Kiro, Claude Code, OpenAI Codex et les autres agents qui prennent en charge Agent Skills.

Quatre scénarios d'utilisation du skill

AWS présente quatre dialogues avec l'agent.

Dans le premier, l'agent diagnostique un premier token lent. Il cherche d'abord des solutions sans nouvelle infrastructure. Si vous avez désactivé le prefix caching, il suffit de le réactiver. Si le taux de réussite du cache local du GPU dépasse déjà 90 % avec des sessions liées à un serveur, un cache partagé pourrait ne pas être nécessaire. L'agent signale aussi un risque pour la multilocation : en observant le temps de réponse, un client peut deviner qu'un autre a envoyé le même texte. Les dossiers qui doivent rester isolés sont donc placés dans des caches séparés, et, avec un cache partagé, l'identifiant du locataire est ajouté au hachage.

Dans le deuxième scénario, l'agent estime les économies. Pour un parc de 8 instances p5 traitant des requêtes de 64 000 tokens, il a utilisé les tarifs publiés par AWS et recommandé deux nœuds cache.i8ge.48xlarge. Il n'invente pas le taux de réussite du cache : il propose de le mesurer avec KVTrace.

KVTrace, déploiement et débogage

KVTrace enregistre les événements du cache KV depuis vLLM ou SGLang, puis rejoue ces événements hors ligne sur des caches partagés de différentes tailles. Les traces contiennent des hachages de blocs et des nombres de tokens, pas le texte des prompts. Les hachages étant construits à partir du contenu, AWS recommande le drapeau --anonymize-key-file pour les données sensibles. L'enregistrement doit couvrir tous les serveurs sur une période représentative, par exemple une journée de travail. Le rapport recommande le plus petit volume qui donne 90 % du gain maximal. Pour les prompts courts, la lecture du cache peut prendre plus de temps que le recalcul : la longueur des prompts et la fréquence des répétitions font donc la différence.

Dans le troisième scénario, l'agent déploie le cache de zéro. Après votre validation, il crée un security group avec les droits EFA et un cluster Valkey 9.1 avec des politiques d'éviction.

Un utilisateur dédié est créé pour LMCache, et son mot de passe est stocké dans Secrets Manager. L'agent connecte ensuite le connecteur LMCache à vos instances vLLM ou SGLang, y compris les variantes llm-d et Ray Serve. Il attribue à tous les serveurs le même mécanisme d'identifiants KV et un type de données explicite, faute de quoi chaque serveur écrit un état que les autres ne retrouvent pas.

Avant la mise en production, il vide les niveaux de cache locaux et vérifie que deux exécutions avec chargement depuis le cache donnent la même réponse. Si la disposition des données ne correspond pas, les compteurs de réussite paraissent bons, mais les réponses sont fausses.

Dans le quatrième scénario, l'agent analyse une panne. La connexion à ElastiCache existe, mais le transfert de données échoue et le compteur rdma_write_errors augmente. La cause probable : le security group bloque le trafic EFA entre les membres du cluster. L'agent fournit les commandes pour vérifier le problème et le corriger.

Limites et conclusion pratique

Les prérequis sont stricts : instances compatibles EFA RDMA write (par exemple p5), LMCache 0.5.8rc1 ou plus récent, vLLM 0.11.1+ ou SGLang 0.5.13+, ElastiCache for Valkey 9.1+ sur des nœuds cache.i8ge.48xlarge. Le temps GPU libéré ne se transforme en économies que si vous réduisez le nombre de serveurs ou traitez davantage de trafic avec les mêmes.

Si vous exploitez de longs dialogues multi-tours, du RAG ou des sessions d'agents reprenables sur vos propres GPU, commencez par enregistrer une trace KVTrace sur une journée de travail. Vérifiez en parallèle les solutions peu coûteuses : prefix caching et liaison des sessions. Le cache partagé se justifie lorsque le calcul montre que les économies couvrent le prix des nœuds. Le skill ne fait qu'automatiser la mise en place et demande votre accord avant chaque action importante.

Dossier

Questions clés sur cet article

Que sait-on sur Quatre scénarios d'utilisation du skill ?

AWS présente quatre dialogues avec l'agent. Dans le premier, l'agent diagnostique un premier token lent. Il cherche d'abord des solutions sans nouvelle infrastructure. Si vous avez désactivé le prefix caching, il suffit de le réactiver. Si le taux de réussite du cache local du GPU dépasse déjà 90 % avec des sessions liées à un serveur, un cache partagé pourrait ne pas être nécessaire.

Que sait-on sur KVTrace, déploiement et débogage ?

KVTrace enregistre les événements du cache KV depuis vLLM ou SGLang, puis rejoue ces événements hors ligne sur des caches partagés de différentes tailles. Les traces contiennent des hachages de blocs et des nombres de tokens, pas le texte des prompts. Les hachages étant construits à partir du contenu, AWS recommande le drapeau --anonymize-key-file pour les données sensibles. L'enregistrement doit couvrir tous les serveurs sur une période représentative, par exemple une journée de travail.

Que sait-on sur Limites et conclusion pratique ?

Les prérequis sont stricts : instances compatibles EFA RDMA write (par exemple p5), LMCache 0.5.8rc1 ou plus récent, vLLM 0.11.1+ ou SGLang 0.5.13+, ElastiCache for Valkey 9.1+ sur des nœuds cache.i8ge.48xlarge. Le temps GPU libéré ne se transforme en économies que si vous réduisez le nombre de serveurs ou traitez davantage de trafic avec les mêmes.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…