Amazon SageMaker et DVC : tracer les modèles de ML de bout en bout, des données à la prédiction

Le blog AWS Machine Learning a publié un guide détaillé pour mettre en place un suivi de bout en bout des modèles de ML, des données brutes jusqu'à la prédiction finale, avec trois outils : DVC, Amazon SageMaker AI et Amazon SageMaker AI MLflow Apps.

Le problème traité est bien connu des équipes qui travaillent en production : on ne sait pas toujours sur quelles données exactes un modèle donné a été entraîné, quelles transformations leur ont été appliquées, ni comment un enregistrement individuel a influencé la prédiction. C'est critique pour les audits, le débogage des dérives (data drift) et le respect des exigences réglementaires.

DVC (Data Version Control) est un outil open source qui ajoute à Git le versionnement des fichiers volumineux et des jeux de données. Associé à SageMaker, il permet de figer un instantané exact des données utilisées à chaque exécution d'entraînement. SageMaker MLflow Apps, de son côté, stocke les métriques, les paramètres et les artefacts des expériences : c'est un serveur MLflow standard géré par AWS, sans qu'il soit nécessaire de déployer l'infrastructure à la main.

Les auteurs décrivent deux schémas concrets. Le premier est le lineage au niveau du jeu de données : on enregistre la version du jeu de données (via un tag DVC), les paramètres du pipeline de traitement et une référence au modèle entraîné dans MLflow. Le second est le lineage au niveau de l'enregistrement : chaque enregistrement du jeu d'entraînement est relié au modèle, ce qui permet de répondre à la question « quels exemples précis ont façonné cette prédiction ». Les deux schémas sont fournis sous forme de notebooks Jupyter, prêts à être exécutés dans votre compte AWS.

L'architecture se présente ainsi : les données sont stockées dans S3 et versionnées par DVC ; les métadonnées des expériences (paramètres, métriques, artefacts) sont conservées dans MLflow App ; et le lien entre la version des données et celle du modèle repose sur des tags personnalisés et des artefacts DVC enregistrés dans MLflow.

L'intérêt pratique de l'approche tient à la reproductibilité. Si, dans six mois, un modèle se comporte de façon inattendue sur une cohorte d'utilisateurs donnée, les ingénieurs pourront reconstituer précisément le jeu de données utilisé pour l'entraîner, les enregistrements qu'il contenait et les hyperparamètres de l'entraînement.

Le contenu s'adresse aux ingénieurs ML et aux équipes MLOps qui travaillent déjà dans l'écosystème AWS. Les notebooks prêts à l'emploi abaissent nettement la barrière d'entrée : inutile de concevoir l'intégration de zéro, il suffit d'adapter les exemples à son jeu de données et à son pipeline de traitement. Pour les entreprises soucieuses de l'auditabilité de leurs systèmes de ML, en particulier dans la finance, la santé et les projets publics, cette approche devient un standard de fait.

AWS construit méthodiquement des outils où le lineage cesse d'être une « bonne pratique » facultative pour devenir une propriété native du pipeline.