Amazon SageMaker AI Apprend à Diffuser les Résultats d'Évaluation des Modèles vers MLflow

Amazon a présenté une nouvelle intégration MLflow avec Amazon SageMaker AI qui transmet en temps réel les résultats des travaux d'évaluation de modèles et de sélection de configuration d'inférence optimale vers une interface unifiée de suivi des expériences.

Qu'est-ce qui est exactement transmis à MLflow ?

SageMaker AI a deux types de travaux à partir desquels les données circulent désormais automatiquement vers MLflow : les travaux de sélection des configurations d'inférence optimales (travaux de recommandation d'inférence optimisée) et les travaux d'évaluation. Les métriques, les paramètres de lancement et les graphiques sont transmis à l'application MLflow sans serveur d'Amazon SageMaker sans exportation manuelle ni consolidation manuelle de tableaux ultérieurs.

• L'intégration est construite sur l'application MLflow gérée au sein d'Amazon SageMaker AI
• Deux types de travaux sont soumis à la transmission — les travaux d'évaluation et les travaux de sélection de configuration d'inférence
• Les métriques, les paramètres de lancement et les graphiques sont transmis à MLflow
• Les données sont mises à jour en temps réel plutôt qu'exportées après la fin du travail

Qu'offre cela aux ingénieurs ML ?

Les travaux d'évaluation et de recommandation dans SageMaker AI peuvent s'exécuter pendant longtemps car ils itèrent à travers diverses options de configuration d'infrastructure pour un modèle spécifique. Auparavant, vous ne pouviez pas voir la progression intermédiaire de tels travaux — le résultat n'apparaissait qu'après l'achèvement complet de l'exécution. Avec l'intégration de transmission, les métriques arrivent dans l'interface MLflow au fur et à mesure que l'exécution progresse, et l'ingénieur peut observer comment chaque variante de configuration se comporte sans attendre la fin.

Le deuxième changement concerne la façon dont les résultats sont stockés. Amazon décrit le résultat comme une "expérience unifiée de suivi des expériences" : au lieu de journaux dispersés pour chaque exécution individuelle, l'équipe obtient un traceur partagé où les données de tous les travaux connexes affluent automatiquement. C'est le même principe qui a motivé la création de MLflow en tant qu'outil open source au départ — seulement maintenant il est nativement connecté aux évaluations SageMaker AI gérées plutôt que de nécessiter une configuration de client séparée pour la journalisation des métriques.

Ce que cela signifie

Pour les équipes testant différentes configurations d'infrastructure avant de lancer des modèles génératifs en production, un tableau de bord de métriques unifié réduit la friction lors de la comparaison des options et accélère la sélection d'une solution optimale — vous n'avez pas besoin de collecter manuellement les résultats de travaux séparés pour comprendre quelle configuration offre le meilleur équilibre entre latence, débit et coût.