Amazon SageMaker AI ya transmite en tiempo real los resultados de los benchmarks de modelos a MLflow

Amazon ha presentado una nueva integración de MLflow con Amazon SageMaker AI. La función envía en tiempo real los resultados de los trabajos de benchmarking de modelos y de selección de la configuración de inferencia óptima a una interfaz unificada de seguimiento de experimentos.

Qué se transmite exactamente a MLflow

SageMaker AI cuenta con dos tipos de trabajos que ahora envían datos de forma automática a MLflow: los trabajos de selección de la configuración de inferencia óptima (optimized inference recommendation jobs) y los trabajos de benchmark (benchmark jobs). Ambos transmiten métricas, parámetros de ejecución y gráficos a la aplicación serverless de Amazon SageMaker MLflow, sin necesidad de exportarlos manualmente ni de consolidar después las tablas a mano.

• La integración se apoya en la aplicación gestionada de MLflow incluida en Amazon SageMaker AI
• Se transmiten dos tipos de trabajos: los de benchmark y los de selección de configuración de inferencia
• MLflow recibe métricas, parámetros de ejecución y gráficos
• Los datos se actualizan en tiempo real, en lugar de exportarse a posteriori una vez finalizado el trabajo

Qué ganan los ingenieros de ML?

Los trabajos de benchmark y de recomendación en SageMaker AI pueden tardar bastante, porque prueban distintas configuraciones de infraestructura para un modelo concreto. Hasta ahora no era posible ver el progreso intermedio: el resultado solo aparecía cuando la ejecución había terminado por completo. Con la integración en streaming, las métricas llegan a la interfaz de MLflow durante la ejecución, y el ingeniero puede observar cómo se comporta cada configuración sin esperar al final.

El segundo cambio afecta a la forma de almacenar los resultados. Amazon lo describe como una «experiencia unificada de seguimiento de experimentos»: en lugar de registros dispersos para cada ejecución, el equipo dispone de un rastreador común al que llegan automáticamente los datos de todos los trabajos relacionados. Es el mismo principio para el que se creó MLflow como herramienta de código abierto, solo que ahora está conectado de forma nativa a los benchmarks gestionados de SageMaker AI y no requiere configurar un cliente aparte para registrar métricas.

Qué significa esto

Para los equipos que prueban distintas configuraciones de infraestructura antes de llevar modelos generativos a producción, un panel único de métricas reduce la fricción al comparar opciones y acelera la elección de la solución óptima. Ya no hace falta reunir a mano los resultados de trabajos separados para saber qué configuración ofrece el mejor equilibrio entre latencia, rendimiento y coste.