Amazon SageMaker AI ya puede enviar en streaming los resultados de benchmarks de modelos a MLflow

Amazon ha presentado una nueva integración de MLflow con Amazon SageMaker AI que transmite en tiempo real los resultados de los trabajos de benchmarking de modelos y de selección de la configuración óptima de inferencia a una única interfaz de seguimiento de experimentos.

Qué se envía exactamente a MLflow

SageMaker AI tiene dos tipos de trabajos que ahora envían datos automáticamente a MLflow: los trabajos de recomendación de inferencia optimizada (optimized inference recommendation jobs) y los trabajos de benchmark (benchmark jobs). De ellos se transmiten a la aplicación serverless Amazon SageMaker MLflow las métricas, los parámetros de ejecución y los gráficos, sin exportación manual ni consolidación posterior de tablas a mano.

• La integración se apoya en la aplicación gestionada de MLflow incluida en Amazon SageMaker AI
• Se transmiten dos tipos de trabajos: los de benchmark y los de selección de configuración de inferencia
• A MLflow se envían métricas, parámetros de ejecución y gráficos
• Los datos se actualizan en tiempo real, en lugar de exportarse tras la finalización del trabajo

¿Qué aporta a los ingenieros de ML?

Los trabajos de benchmark y de recomendación de SageMaker AI pueden tardar mucho, porque recorren distintas configuraciones de infraestructura para un modelo concreto. Antes no se veía el progreso intermedio: el resultado aparecía solo al terminar por completo la ejecución. Con la integración en streaming, las métricas llegan a la interfaz de MLflow durante la ejecución, y el ingeniero puede observar cómo se comporta cada variante de configuración sin esperar al final.

El segundo cambio afecta a cómo se almacenan los resultados. Amazon describe el resultado como una «experiencia unificada de seguimiento de experimentos»: en lugar de registros dispersos por cada ejecución, el equipo dispone de un rastreador común al que llegan automáticamente los datos de todos los trabajos relacionados. Es el mismo principio para el que se creó MLflow como herramienta abierta, solo que ahora está conectado de forma nativa a los benchmarks gestionados de SageMaker AI y no requiere configurar por separado un cliente para registrar métricas.

Qué significa

Para los equipos que prueban distintas configuraciones de infraestructura antes de llevar modelos generativos a producción, un escaparate único de métricas reduce la fricción al comparar opciones y acelera la elección de la mejor. No hace falta reunir a mano los resultados de trabajos independientes para saber qué configuración es mejor en latencia, rendimiento y coste.