Amazon SageMaker détecte seul les GPU inactifs et la dérive de latence des endpoints LLM
Un endpoint LLM en production finit par « dériver » : les prompts s'allongent, les GPU restent inactifs, et aucune alerte ne se déclenche, puisque rien n'est en panne. Amazon SageMaker AI surveille désormais par défaut les endpoints sur vLLM et GPU, et envoie une notification via AWS Health. Le service compare la latence médiane et le temps jusqu'au premier token à ceux de la semaine précédente, et repère les GPU sous-utilisés. Un clic lance ensuite un benchmark d'alternatives, et la production ne change pas sans votre décision.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Un endpoint avec un LLM n'est parfaitement réglé que le jour de son lancement. L'équipe a choisi le type d'instance, les paramètres de serving et l'autoscaling en fonction du trafic de l'époque, puis est passée à d'autres tâches. Mais le trafic évolue, les prompts s'allongent, de nouvelles versions de vLLM sortent et de nouveaux checkpoints affinés apparaissent. L'endpoint « dérive » en silence : le temps jusqu'au premier token augmente, certaines optimisations ne sont toujours pas activées, et un GPU coûteux reste inactif pendant des semaines. Rien ne plante, les alertes restent muettes, et ce sont les utilisateurs ou le service financier qui finissent par remarquer le problème. Amazon SageMaker AI a décidé de combler cette lacune.
Ce qui est désormais surveillé
La surveillance est activée par défaut pour les endpoints SageMaker AI qui tournent sur des conteneurs vLLM et des instances GPU. Aucune configuration n'est nécessaire. Le service n'examine que des signaux opérationnels : la latence, la charge des GPU et la configuration de serving. Il ne lit ni le contenu des requêtes ni celui des réponses, et la surveillance ne génère aucun coût GPU supplémentaire.
Les constats se répartissent en trois types :
- Dérive de latence. La latence de bout en bout médiane (p50) ou le temps jusqu'au premier token ont augmenté par rapport à la semaine précédente. La comparaison se fait avec l'historique propre à l'endpoint, il n'y a donc aucun seuil à définir.
- Capacité inutilisée. Les GPU que vous payez sont presque inactifs. Dans l'exemple d'AWS, le GPU le plus sollicité n'a utilisé que 12% de sa capacité au maximum sur la semaine.
- Écarts de configuration. Le conteneur est en retard sur une version qui apporte des gains de performance et des correctifs de sécurité (CVE critiques et élevées). Ou bien le modèle prend en charge le décodage spéculatif ou le réglage des noyaux GPU, mais l'endpoint ne les utilise pas.
La notification arrive via AWS Health et par e-mail, une par endpoint, avec tous les constats regroupés. Elle indique ce qui a été repéré, pourquoi c'est important et quoi faire ensuite. Les chiffres du message sont présentés comme des estimations : aucun benchmark n'a encore été lancé à ce stade.
De la notification à la décision
Un clic ouvre une interface agentique dans SageMaker Studio, où l'endpoint et son trafic récent sont déjà renseignés. L'agent reformule le constat en termes simples et demande confirmation. Il génère ensuite un notebook basé sur le SageMaker Python SDK, qui crée une tâche inference recommendation. Chaque étape se trouve dans une cellule distincte : le code peut donc être relu et modifié avant l'exécution.
Les benchmarks tournent sur des ressources dédiées et comparent la configuration actuelle à des alternatives selon le temps de réponse, le débit et le coût du million de tokens. Ce qui est testé dépend du constat :
- en cas de dérive de latence : paramètres de parallélisme tensoriel, autres types et tailles d'instances ;
- en cas de GPU inactifs : instances moins chères et plus petites, au regard du pic de charge observé ;
- si le décodage spéculatif est désactivé : comparaison « avec » et « sans » ;
- si le conteneur est obsolète : ancienne et nouvelle versions.
La production n'est pas touchée tant que vous n'appliquez pas vous-même le résultat. AWS recommande de déployer d'abord le changement sur un seul variant (production variant) et de conserver l'ancienne configuration pour pouvoir revenir en arrière. « Ne rien changer » est aussi considéré comme une issue légitime. Par exemple, une équipe peut estimer que la marge de GPU est nécessaire pour une croissance planifiée et ne pas réduire l'instance.
Que faire de tout cela
Pour les équipes qui exploitent des LLM en production sur SageMaker, c'est une couche gratuite de contrôle des coûts et de la qualité. Elle est particulièrement utile quand personne ne surveille l'endpoint au quotidien : assistants internes, autocomplétion de code, résumé automatique. L'exemple type cité dans l'article : après l'ajout de RAG, les prompts se sont allongés, les réponses sont devenues plus lentes, et les alertes configurées à la main ne se sont pas déclenchées.
Il y a aussi des limites. La surveillance ne fonctionne qu'avec des conteneurs vLLM et des instances GPU. Les notifications sont liées à la région : les constats ne sont visibles qu'en se connectant à la région de l'endpoint, et le nombre de notifications par compte est limité. Les benchmarks sont facturés aux tarifs habituels de SageMaker ou imputés sur votre réservation ML, et il faut un quota suffisant pour les instances de test. Le résultat dépend aussi du trafic : le gain, par exemple celui du décodage spéculatif, peut différer entre les heures de pointe et les heures creuses.
Si la télémétrie ne vous convient pas, vous pouvez exclure l'endpoint. Il suffit de définir, dans la map Environment lors de CreateModel, la variable OPT_OUT_TRACKING avec une valeur quelconque. Le service ne collecte alors ni les métriques du moteur, ni celles des GPU, ni les données de configuration de démarrage, et n'envoie aucune notification.
La conclusion pratique est simple. Vérifiez lesquels de vos endpoints sont soumis à la surveillance, configurez la réception des notifications dans AWS User Notifications et prévoyez dans votre processus une revue régulière des constats, par exemple une fois par mois.
- 21 nov. 2026Le Mexique peine à attirer les data centers pour l'IA : la connexion au réseau peut prendre jusqu'à 3 ans, et le pays n'en compte que 71 sur plus de 500
- 21 nov. 2026GPT-4o retirée après 13 procès : l'éthique de l'IA se vend avec le modèle, et elle coûte cher
- 21 nov. 2026Siri Recap sur Apple Watch Ultra 4 a produit plus de 50 résumés, mais peu sont utiles
- 21 nov. 2026Cassava cherche jusqu'à 1 milliard de dollars pour des puces Nvidia destinées aux centres de données IA africains
Questions clés sur cet article
Que sait-on sur Ce qui est désormais surveillé ?
La surveillance est activée par défaut pour les endpoints SageMaker AI qui tournent sur des conteneurs vLLM et des instances GPU. Aucune configuration n'est nécessaire. Le service n'examine que des signaux opérationnels : la latence, la charge des GPU et la configuration de serving. Il ne lit ni le contenu des requêtes ni celui des réponses, et la surveillance ne génère aucun coût GPU supplémentaire. Les constats se répartissent en trois types : Dérive de latence.
Que sait-on sur De la notification à la décision ?
Un clic ouvre une interface agentique dans SageMaker Studio, où l'endpoint et son trafic récent sont déjà renseignés. L'agent reformule le constat en termes simples et demande confirmation. Il génère ensuite un notebook basé sur le SageMaker Python SDK, qui crée une tâche inference recommendation. Chaque étape se trouve dans une cellule distincte : le code peut donc être relu et modifié avant l'exécution.
Que sait-on sur Que faire de tout cela ?
Pour les équipes qui exploitent des LLM en production sur SageMaker, c'est une couche gratuite de contrôle des coûts et de la qualité. Elle est particulièrement utile quand personne ne surveille l'endpoint au quotidien : assistants internes, autocomplétion de code, résumé automatique. L'exemple type cité dans l'article : après l'ajout de RAG, les prompts se sont allongés, les réponses sont devenues plus lentes, et les alertes configurées à la main ne se sont pas déclenchées. Il y a aussi des limites.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.