NVIDIA Dynamo Snapshot : accélération du démarrage des modèles sur Kubernetes

NVIDIA a présenté Dynamo Snapshot pour accélérer le démarrage à froid des modèles d'inférence sur Kubernetes. Lors de pics de demande, les nouvelles répliques prennent souvent des minutes à se charger, laissant les GPU inactifs et risquant des violations de SLA. Le nouvel outil réduit les temps de chargement de minutes à secondes.