Amazon SageMaker HyperPod commence à enregistrer les requêtes réelles adressées aux LLM dans S3 sur trois niveaux
Un modèle en production se heurte à ce qui n'existait pas dans les tests : de nouveaux produits et du jargon. Amazon SageMaker HyperPod (service AWS pour les modèles sur clusters de GPU) enregistre désormais les requêtes et réponses en temps réel dans S3, sur trois niveaux : endpoint, load balancer et pod du modèle. Dans la démo, le routeur de tickets ne connaissait pas les nouveaux climatiseurs ; la lacune a été repérée avec Athena puis comblée par un fine-tuning. Il vaut donc mieux activer l'enregistrement du trafic avant la première dérive.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Imaginez un bot de support technique pour un magasin d'électroménager. Hier, il triait parfaitement les demandes concernant les réfrigérateurs et les machines à laver ; aujourd'hui, le magasin lance des climatiseurs, et le bot ne sait pas quoi en faire. Les tests préparés à l'avance ne le montreront pas : ils ont été conçus avant le lancement du nouveau produit.
Le problème n'apparaît que dans les requêtes réelles des utilisateurs, et il faut bien les stocker quelque part. Pour cela, AWS a ajouté à Amazon SageMaker HyperPod une fonctionnalité appelée Data Capture. HyperPod est un service AWS de lancement et de fine-tuning de modèles sur clusters de GPU.
Data Capture enregistre les requêtes entrantes et les réponses du modèle en service dans S3, le stockage cloud d'Amazon. Selon AWS, la latence reste minimale et la disponibilité du modèle n'en souffre pas.
Trois niveaux d'enregistrement : ce qui est réellement sauvegardé
La fonction s'active par le bloc dataCapture dans la configuration. L'enregistrement peut se faire en trois points indépendants du chemin de la requête, et ces points peuvent être combinés.
Premier niveau : l'endpoint SageMaker, c'est-à-dire le point d'entrée du modèle. Les requêtes et réponses complètes y sont sauvegardées via le mécanisme intégré de SageMaker. Il sert à la conformité, à l'audit et au service Model Monitor.
Deuxième niveau : le load balancer ALB. Il n'écrit que les champs des journaux d'accès : ligne de requête, codes de réponse, temps de traitement, adresse IP du client et user agent. Il ne contient aucun texte de dialogue. C'est en revanche un moyen économique de suivre le trafic et le taux d'erreurs.
Troisième niveau : le pod du modèle, c'est-à-dire le groupe de conteneurs dans Kubernetes. L'opérateur d'inférence de HyperPod y ajoute trois conteneurs auxiliaires : un proxy NGINX, un collecteur OpenTelemetry et un chargeur vers S3. Le bucket reçoit les requêtes et réponses complètes ainsi que les métadonnées des événements. Ce niveau est choisi pour le débogage, l'analyse et la collecte de données d'entraînement.
Réserve importante : les niveaux 1 et 3 stockent tous deux les textes complets. Si les deux sont activés, chaque enregistrement se retrouve deux fois dans S3. AWS recommande donc de choisir le niveau selon la tâche : le premier pour la conformité, le deuxième pour les métriques de trafic, le troisième pour le travail sur le contenu.
Comment cela fonctionne sur l'exemple d'un routeur de tickets
Le scénario de l'article est fictif et les données sont synthétiques. Le modèle Qwen2.5-3B-Instruct sert de routeur de tickets : il affecte chaque demande à une catégorie — réfrigérateur, machine à laver, four, lave-vaisselle, micro-ondes ou « Autre ». Puis le magasin lance la gamme de climatiseurs Arctis ; le routeur ne la connaît pas et rattache les demandes à la catégorie familière la plus proche.
Vient ensuite une chaîne de cinq étapes sur un même cluster, qu'AWS appelle le « volant » d'amélioration du modèle :
- Enregistrer toutes les requêtes et réponses dans S3.
- Analyser les enregistrements avec des requêtes SQL dans Athena, le service qui lit directement les fichiers de S3.
- Étiqueter les enregistrements avec une politique SQL.
- Affiner le modèle sur un second GPU via le training operator.
- Déployer la nouvelle version à côté de l'ancienne, en gardant l'enregistrement activé.
Dans la démo, 900 demandes passent par le routeur en 15 minutes. Le jeu d'évaluation compte 280 exemples étiquetés. La précision est mesurée avant et après le fine-tuning, sur des données qui ne pouvaient pas exister au moment du premier déploiement.
La démo nécessite deux GPU : l'un sert le modèle, l'autre le réentraîne. Les auteurs utilisent ml.g6e.8xlarge et ml.g6e.xlarge, chacun équipé d'un NVIDIA L40S de 48 Go. Le pod d'inférence occupe son GPU pendant toute la durée de vie de l'endpoint. Avec un seul GPU, le pod d'entraînement resterait donc bloqué en statut Pending.
Points d'attention lors du déploiement
- Les requêtes doivent être envoyées au port 8081, où se trouve le proxy d'enregistrement. Le modèle écoute sur le port 8000 : les appels directs à ce port n'atteindront pas S3.
- Par défaut, 100 % des requêtes sont enregistrées. On peut réduire ce taux par échantillonnage, limiter la taille des payloads et définir une clé de chiffrement KMS. Le tampon par défaut de 10 enregistrements est vidé toutes les 60 secondes.
- Si l'endpoint est opérationnel mais qu'aucun fichier n'apparaît dans S3, vérifiez d'abord le rôle IAM du pilote Mountpoint-S3 CSI. Ce sont lui, et non le compte de service du pod, qui écrit les fichiers.
- Les corps des requêtes et réponses sont stockés au format data capture de SageMaker, encodés en base64. Il faut les décoder avant analyse.
Confidentialité et limites
Le troisième niveau sauvegarde les textes complets, qui contiennent des noms, des adresses et des numéros de commande. Protégez ces données avant de les transformer en données d'entraînement. AWS propose l'échantillonnage, le chiffrement via KMS (service de gestion des clés), des règles de cycle de vie S3 et le masquage des données personnelles, par exemple avec Amazon Comprehend.
L'exemple lui-même repose sur des données synthétiques et un petit modèle de 3 milliards de paramètres. Sur un trafic réel et de grands modèles, les résultats dépendront de la qualité des étiquetages et du volume de données.
Conclusion pratique pour les équipes sur HyperPod : mieux vaut activer l'enregistrement du trafic à l'avance. Quand les utilisateurs signaleront quelque chose de nouveau, vous disposerez immédiatement à la fois de la preuve du problème et de la matière pour le fine-tuning.
- 21 nov. 2026AG-UI 1.0 donne aux agents IA un langage commun pour dialoguer avec l'application : 31 types d'événements
- 21 nov. 2026OpenAI lance ChatGPT Wallet : des agents qui achètent sans jamais voir le numéro de carte
- 21 nov. 2026Les annonceurs américains ont dépensé 70,7 M$ en publicité sur ChatGPT en octobre, soit 127 % de plus qu'en avril
- 21 nov. 2026ONNX Runtime disparu de GitHub : Microsoft a masqué les dépôts après le piratage d'un paquet
Questions clés sur cet article
Que sait-on sur Trois niveaux d'enregistrement : ce qui est réellement sauvegardé ?
La fonction s'active par le bloc dataCapture dans la configuration. L'enregistrement peut se faire en trois points indépendants du chemin de la requête, et ces points peuvent être combinés. Premier niveau : l'endpoint SageMaker, c'est-à-dire le point d'entrée du modèle. Les requêtes et réponses complètes y sont sauvegardées via le mécanisme intégré de SageMaker. Il sert à la conformité, à l'audit et au service Model Monitor. Deuxième niveau : le load balancer ALB.
Comment cela fonctionne sur l'exemple d'un routeur de tickets?
Le scénario de l'article est fictif et les données sont synthétiques. Le modèle Qwen2.5-3B-Instruct sert de routeur de tickets : il affecte chaque demande à une catégorie — réfrigérateur, machine à laver, four, lave-vaisselle, micro-ondes ou « Autre ». Puis le magasin lance la gamme de climatiseurs Arctis ; le routeur ne la connaît pas et rattache les demandes à la catégorie familière la plus proche.
Que sait-on sur Points d'attention lors du déploiement ?
Les requêtes doivent être envoyées au port 8081, où se trouve le proxy d'enregistrement. Le modèle écoute sur le port 8000 : les appels directs à ce port n'atteindront pas S3. Par défaut, 100 % des requêtes sont enregistrées. On peut réduire ce taux par échantillonnage, limiter la taille des payloads et définir une clé de chiffrement KMS. Le tampon par défaut de 10 enregistrements est vidé toutes les 60 secondes.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.