Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
InfrastructureAPI / Produit · Prêt à l'emploiAWS Machine Learning Blog→ original

SageMaker envoie désormais les requêtes LLM vers le GPU dont le cache est prêt : premier token 97% plus rapide

Quand les requêtes d'un chat ou d'un RAG partent vers un GPU choisi au hasard, celui-ci recalcule tout le long prompt, alors que le cache est déjà prêt sur un GPU voisin. Le nouveau routage KV_AWARE de SageMaker AI envoie la requête là où se trouve la plus longue correspondance. Sur Llama 3.1 70B, le temps jusqu'au premier token a baissé de 97% et le débit a augmenté de 234%. Pour les longues conversations et le RAG, cette stratégie mérite un test sur votre propre trafic.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
SageMaker envoie désormais les requêtes LLM vers le GPU dont le cache est prêt : premier token 97% plus rapide
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Taux de succès du cachede 3–48% à 80–93%
Test7 instances ml.p5.48xlarge, prompts jusqu'à 64 000 tokens
Activationvariable SM_VLLM_KV_EVENTS_CONFIG et KV_AWARE dans la configuration

Prenons un support client basé sur un LLM : chaque conversation commence par le même extrait de base de connaissances, long de 6 000 tokens. Le modèle le calcule une seule fois et stocke le résultat dans la mémoire du GPU. C'est ce qu'on appelle le KV-cache.

Si la réplique suivante du dialogue atterrit sur un autre serveur, qui n'a pas ce cache, son GPU recalcule les 6 000 tokens, et l'utilisateur attend le premier token de la réponse. Amazon SageMaker AI a ajouté pour les endpoints temps réel la stratégie de routage KV_AWARE, qui envoie la requête là où le cache voulu se trouve réellement. Sur Llama 3.

1 70B, elle a réduit de 97% le temps médian jusqu'au premier token (TTFT) et augmenté le débit de 234%.

Ce qui cloche avec le routage par préfixe

SageMaker proposait déjà la stratégie PREFIX_AWARE. Elle calcule un hash du début de la requête, sur un nombre d'octets ou de caractères donné (PrefixLength), et envoie les requêtes similaires vers la même instance. Le routeur ne voit cependant pas ce que contient réellement le cache, ce qui le conduit à se tromper dans deux cas.

Premier cas : la mémoire du GPU est saturée, l'instance a évincé d'anciennes entrées de cache, mais le routeur continue d'y envoyer les requêtes en croyant le cache chaud. Second cas : dans un chat multitour, l'historique s'allonge à chaque réplique. Tant que la requête reste plus courte que PrefixLength, le texte haché change à chaque tour, et la réplique suivante peut partir vers une autre instance. Le dialogue ne reste « collé » à un serveur que lorsque la requête dépasse PrefixLength.

Comment fonctionne KV_AWARE

C'est le conteneur du modèle qui indique lui-même ce qu'il a en cache : à chaque ajout ou suppression d'entrées, il publie un événement. La variable SM_VLLM_KV_EVENTS_CONFIG active ces événements. SageMaker les agrège dans un index géré. Cet index ne contient ni prompts, ni ID de tokens, ni corps de requêtes, ni tenseurs KV : uniquement des hashs tronqués irréversibles et des pointeurs vers l'instance ou la copie d'inference component où ils se trouvent.

Lorsqu'une requête arrive, l'endpoint tokenise le prompt et recherche ses tokens dans l'index. Il met ensuite en balance la longueur de la correspondance et la charge de l'instance. Si le meilleur candidat est occupé, la requête part vers la suivante disponible. S'il n'y a aucune correspondance utile, ou si toutes les instances sont occupées, l'équilibrage de charge classique prend le relais, comme avec LEAST_OUTSTANDING_REQUESTS.

Un exemple donné par AWS : la quatrième réplique d'un dialogue pèse 6 200 tokens et l'instance A conserve les 6 000 premiers ; A n'a donc plus que les 200 restants à calculer. Dans un autre scénario de support client sous charge, A a évincé presque tout l'extrait de la base de connaissances, tandis que l'instance B en garde les 4 000 premiers tokens. Un routeur par préfixe enverrait la requête sur A, alors qu'un routeur KV-aware l'enverra sur B. Sous faible charge, il n'y a pas d'éviction de cache et les deux stratégies choisiront A. La correspondance se calcule en tokens : il n'y a donc pas de seuil de parallélisme à régler.

Chiffres et limites

AWS a testé Llama 3.1 70B Instruct sur sept instances ml.p5.48xlarge : des tests de 30 minutes, avec 20 ou 100 utilisateurs virtuels, des chats multitours et des questions sur des documents, avec des prompts allant jusqu'à 64 000 tokens. Face à un routage aléatoire, avec des prompts longs sous charge, KV_AWARE a réduit le TTFT p50 de 97%, augmenté le débit de 234% et fait passer le taux de succès du cache de 3–48% à 80–93%. Les prompts longs gagnaient aussi à charge plus faible. Sur les prompts courts, le gain est minime : il n'y a presque rien à recalculer.

Points à prendre en compte :

  • La stratégie ne fonctionne qu'à partir de deux instances ou de deux copies d'inference component. Avec une seule instance, elle ne change rien.
  • Il faut un conteneur compatible (AWS vLLM Deep Learning Container) avec le prefix caching et les événements de KV-cache activés.
  • La latence supplémentaire du routeur est de quelques millisecondes sur un prompt court et davantage sur un prompt long, principalement à cause de la tokenisation. Pour la stratégie par préfixe, elle est de 1,3–1,9 ms.
  • Après une mise à l'échelle ou une mise à jour, les nouvelles instances démarrent avec un cache vide, et les latences sont plus élevées pendant un certain temps.
  • Les bascules vers l'équilibrage de charge ne sont pas visibles dans la console ni dans les métriques au démarrage : il faudra vérifier l'effet soi-même.

Que faire en pratique

L'activation se fait en deux étapes : ajoutez la variable d'environnement au modèle, puis réglez RoutingStrategy sur KV_AWARE dans le RoutingConfig de la variante de l'endpoint. Les clients appellent l'endpoint avec les mêmes API.

Si vous avez un prompt système commun stable, des requêtes courtes et une charge modérée, PREFIX_AWARE suffit : il fonctionne avec n'importe quel conteneur. KV_AWARE est utile quand le contexte est long, la charge élevée et la mémoire GPU insuffisante pour le cache : longues conversations, RAG avec de gros documents, assistants aux prompts lourds. Les chiffres du blog dépendent de la charge ; faites donc passer votre propre trafic sur deux endpoints et comparez le TTFT, le débit et le taux de succès du cache.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui cloche avec le routage par préfixe ?

SageMaker proposait déjà la stratégie PREFIX_AWARE. Elle calcule un hash du début de la requête, sur un nombre d'octets ou de caractères donné (PrefixLength), et envoie les requêtes similaires vers la même instance. Le routeur ne voit cependant pas ce que contient réellement le cache, ce qui le conduit à se tromper dans deux cas. Premier cas : la mémoire du GPU est saturée, l'instance a évincé d'anciennes entrées de cache, mais le routeur continue d'y envoyer les requêtes en croyant le cache chaud.

Comment fonctionne KV_AWARE?

C'est le conteneur du modèle qui indique lui-même ce qu'il a en cache : à chaque ajout ou suppression d'entrées, il publie un événement. La variable SM_VLLM_KV_EVENTS_CONFIG active ces événements. SageMaker les agrège dans un index géré. Cet index ne contient ni prompts, ni ID de tokens, ni corps de requêtes, ni tenseurs KV : uniquement des hashs tronqués irréversibles et des pointeurs vers l'instance ou la copie d'inference component où ils se trouvent.

Que sait-on sur Chiffres et limites ?

AWS a testé Llama 3.1 70B Instruct sur sept instances ml.p5.48xlarge : des tests de 30 minutes, avec 20 ou 100 utilisateurs virtuels, des chats multitours et des questions sur des documents, avec des prompts allant jusqu'à 64 000 tokens. Face à un routage aléatoire, avec des prompts longs sous charge, KV_AWARE a réduit le TTFT p50 de 97%, augmenté le débit de 234% et fait passer le taux de succès du cache de 3–48% à 80–93%. Les prompts longs gagnaient aussi à charge plus faible.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…