Amazon SageMaker AI diffuse désormais les résultats de benchmarks de modèles vers MLflow

Amazon a présenté une nouvelle intégration de MLflow avec Amazon SageMaker AI, qui transmet en temps réel les résultats des tâches de benchmarking de modèles et de sélection de la configuration d'inférence optimale vers une interface unique de suivi d'expériences.

Ce qui est exactement envoyé vers MLflow

SageMaker AI propose deux types de tâches qui alimentent désormais automatiquement MLflow : les tâches de recommandation d'inférence optimisée (optimized inference recommendation jobs) et les tâches de benchmark (benchmark jobs). Les métriques, les paramètres d'exécution et les graphiques sont transmis à l'application serverless Amazon SageMaker MLflow, sans export manuel ni consolidation ultérieure des tableaux à la main.

• L'intégration repose sur l'application MLflow gérée au sein d'Amazon SageMaker AI
• Deux types de tâches sont diffusés : les tâches de benchmark et les tâches de sélection de configuration d'inférence
• Les métriques, les paramètres d'exécution et les graphiques sont envoyés à MLflow
• Les données sont mises à jour en temps réel, et non exportées après la fin de la tâche

Que change-t-elle pour les ingénieurs ML ?

Les tâches de benchmark et de recommandation de SageMaker AI peuvent être longues, car elles parcourent différentes configurations d'infrastructure pour un modèle donné. Auparavant, la progression intermédiaire n'était pas visible : le résultat n'apparaissait qu'à la fin complète de l'exécution. Avec l'intégration en streaming, les métriques arrivent dans l'interface MLflow au fil de l'exécution, et l'ingénieur peut observer le comportement de chaque variante de configuration sans attendre la fin.

Le second changement concerne le mode de stockage des résultats. Amazon décrit le résultat comme une « expérience unifiée de suivi d'expériences » : au lieu de journaux dispersés pour chaque exécution, l'équipe dispose d'un suivi commun où affluent automatiquement les données de toutes les tâches liées. C'est le principe pour lequel MLflow a été conçu à l'origine comme outil ouvert, sauf qu'il est désormais connecté nativement aux benchmarks gérés de SageMaker AI et n'exige pas de configurer séparément un client pour journaliser les métriques.

Ce que cela signifie

Pour les équipes qui testent différentes configurations d'infrastructure avant de mettre des modèles génératifs en production, une vitrine unique de métriques réduit les frictions lors de la comparaison des options et accélère le choix de la meilleure. Plus besoin de rassembler à la main les résultats de tâches distinctes pour savoir quelle configuration est la meilleure en termes de latence, de débit et de coût.