NVIDIA Dynamo Snapshot: acelerando a inicialização de modelos no Kubernetes
NVIDIA apresentou Dynamo Snapshot para acelerar a inicialização a frio de modelos de inferência no Kubernetes. Durante picos de demanda, novas réplicas frequent
◐ Ouvir artigo
NVIDIA apresentou Dynamo Snapshot para acelerar a inicialização a frio de modelos de inferência no Kubernetes. Durante picos de demanda, novas réplicas frequentemente levam minutos para carregar, deixando GPUs ociosas e arriscando violações de SLA. A nova ferramenta reduz o tempo de carregamento de minutos para segundos.