Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarAWS Machine Learning Blog→ original

SageMaker lance les tâches en quelques secondes : une image de 35,4 Go se charge en 3 à 11 s au lieu de 7 minutes

Auparavant, SageMaker téléchargeait l'image de conteneur en entier avant d'exécuter le code, et vous payiez pour des minutes d'inactivité des GPU. Désormais, avec un index SOCI, elle ne récupère que les fichiers nécessaires au démarrage et complète le reste en arrière-plan, à la manière d'un film en streaming. Une image de 35,4 Go démarre en 3 à 11 secondes au lieu de 7 minutes 17 secondes, et l'inactivité des GPU pendant le chargement recule jusqu'à 90 %. Pour les courtes expérimentations et la recherche d'hyperparamètres, il suffit de changer le tag de l'image.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
SageMaker lance les tâches en quelques secondes : une image de 35,4 Go se charge en 3 à 11 s au lieu de 7 minutes
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1L'inactivité des GPU pendant le chargement de l'image baisse jusqu'à 90 % selon les mesures d'AWS
Chiffre clé #2La première époque prend 3 à 16 s de plus, mais la tâche se termine 1 à 6 minutes plus tôt
Chiffre clé #3Uniquement avec Amazon ECR privé ; les images d'environ 4 Go ou moins gagnent peu

Chaque minute que passe un conteneur d'apprentissage profond à se télécharger est une minute facturée et une minute d'attente pour l'équipe. Les images PyTorch ou TensorFlow dépassent facilement 10 Go. Avant d'exécuter votre code, SageMaker télécharge l'image entière, la décompresse et écrit chaque couche sur le disque. Pour une grosse image, cela représente plusieurs minutes facturées pendant lesquelles le modèle n'avance pas d'un pas. AWS annonce que, pour les tâches d'entraînement (Training) et de traitement de données (Processing) dans SageMaker AI, l'indexation Seekable OCI, ou SOCI, est désormais active. Elle retire le téléchargement complet de l'image du chemin critique du démarrage.

Comment ça fonctionne

SOCI est une technologie open source de chargement « paresseux » des conteneurs. Pensez au streaming d'un film : le lecteur lit le début et télécharge la suite au fil du visionnage, sans obliger à attendre la fin du téléchargement. C'est le même principe ici. Le runtime utilise l'index pour ne récupérer que les fichiers nécessaires au démarrage du conteneur, et télécharge le reste en arrière-plan lorsque le code y accède.

L'index est un ensemble de métadonnées listant tous les fichiers de l'image. Il est stocké dans Amazon ECR comme artefact distinct, à côté de l'image source, de sorte que le digest de l'image et les signatures existantes restent valides. Il n'est pas nécessaire de modifier la définition de la tâche, le point d'entrée ou les canaux de données.

SageMaker vérifie elle-même si l'image dispose d'un index. Si c'est le cas, le chargement paresseux est activé. Sinon, la tâche télécharge l'image comme d'habitude. Si l'index ne peut pas être lu ou si le chargement paresseux échoue, la tâche revient également au téléchargement classique et poursuit son exécution. Ajouter un index ne peut pas casser un processus existant.

Ce que montrent les mesures

AWS a comparé le téléchargement classique et SOCI sur huit images de 1,8 à 35,4 Go. Les tests ont utilisé des instances GPU et CPU, de ml.g4dn à ml.p5 et ml.m7i, dans les régions us-west-2 et us-east-1. Le temps était mesuré depuis le début du téléchargement de l'image jusqu'à la disponibilité du conteneur. Tous les chiffres sont des médianes de lancements répétés :

  • image de 1,8 Go : 48 secondes en téléchargement classique contre 3 à 11 secondes avec SOCI ;
  • image de 13,2 Go : 3 minutes 42 secondes contre environ 6 secondes ;
  • image de 35,4 Go : 7 minutes 17 secondes contre 3 à 11 secondes.

Le chargement paresseux reste entre 3 et 11 secondes quelle que soit la taille de l'image, si bien que le gain est d'autant plus visible que l'image est grande. Pour l'image de 13,2 Go, 13 combinaisons de types et de tailles d'instances ont été testées. Le téléchargement classique prenait de 3 minutes 16 secondes à 4 minutes 20 secondes, contre 6 à 8 secondes en chargement paresseux, soit environ 34 fois plus rapide sur chaque configuration. Il n'est pas nécessaire de changer d'instance pour obtenir cet effet.

Nous avons aussi vérifié que l'entraînement lui-même n'en souffrait pas. Une classification d'images ResNet-50 sur Imagenette (9 469 images) et un fine-tuning complet de Qwen2.5-0.5B sur alpaca-cleaned (51 760 exemples) ont été exécutés. À partir de la deuxième époque, le temps par époque est identique. La première époque, sur une image avec index, dure 3 à 16 secondes de plus : le framework accède pour la première fois aux fichiers, qu'il faut alors télécharger. Au final, chaque tâche s'est terminée 1 à 6 minutes plus tôt. AWS affirme que l'inactivité des GPU pendant le chargement de l'image a baissé jusqu'à 90 %.

Limites et mise en place

Le gain dépend de votre code. Si le point d'entrée lit presque toute l'image au démarrage (analyse, calcul de sommes de contrôle, préchargement du contenu), la première époque attend à peu près autant d'octets que lors d'un téléchargement complet, et l'économie finale sera faible. Mais même les démarrages lourds sont restés gagnants dans les tests. torch.compile et la compilation JIT d'extensions CUDA ont ajouté 7 à 15 secondes à la première époque, alors que l'économie nette s'est située entre 3 minutes 25 secondes et 3 minutes 56 secondes. Un modèle de 6 Go embarqué dans l'image a été chargé pendant 2 à 3,5 minutes, mais la tâche s'est tout de même terminée 2 à 2,5 minutes plus tôt.

À prendre en compte :

  • cela ne fonctionne qu'avec des dépôts Amazon ECR privés ; les images provenant d'autres registres et le mode TrainingRepositoryAccessMode=Vpc ne sont pas compatibles ;
  • pour les images d'environ 4 Go ou moins, l'amélioration reste modeste ;
  • AWS recommande de vérifier que les scripts ne dépendent pas de Docker avant de passer à ce nouveau mode de chargement.

Deux voies sont possibles. La première : utiliser un AWS Deep Learning Container prêt à l'emploi avec le suffixe -soci dans le tag. De telles variantes existent pour PyTorch Training, TensorFlow Training, vLLM et SGLang.

La seconde : indexer votre propre image avec la commande nerdctl image convert --soci sur un hôte Linux disposant de containerd et du snapshotter SOCI, puis la pousser vers ECR. Si votre image est construite à partir d'un DLC, l'index de l'image de base n'est pas repris : il faut recréer l'index pour l'image finale. La création des index peut être automatisée dans vos pipelines CI/CD avec CFN ECR SOCI Index Builder : il réagit aux événements de push ECR via EventBridge et ne nécessite pas de modifier votre pipeline de build.

Pour les équipes qui lancent des centaines de courtes tâches lors de la recherche d'hyperparamètres, c'est une économie quasi gratuite : seul le tag de l'image change. Commencez par vérifier dans votre pipeline quelle part de l'image le code lit au démarrage. C'est ce qui détermine le gain réel.

Dossier

Questions clés sur cet article

Comment ça fonctionne?

SOCI est une technologie open source de chargement « paresseux » des conteneurs. Pensez au streaming d'un film : le lecteur lit le début et télécharge la suite au fil du visionnage, sans obliger à attendre la fin du téléchargement. C'est le même principe ici. Le runtime utilise l'index pour ne récupérer que les fichiers nécessaires au démarrage du conteneur, et télécharge le reste en arrière-plan lorsque le code y accède. L'index est un ensemble de métadonnées listant tous les fichiers de l'image.

Que sait-on sur Ce que montrent les mesures ?

AWS a comparé le téléchargement classique et SOCI sur huit images de 1,8 à 35,4 Go. Les tests ont utilisé des instances GPU et CPU, de ml.g4dn à ml.p5 et ml.m7i, dans les régions us-west-2 et us-east-1. Le temps était mesuré depuis le début du téléchargement de l'image jusqu'à la disponibilité du conteneur.

Que sait-on sur Limites et mise en place ?

Le gain dépend de votre code. Si le point d'entrée lit presque toute l'image au démarrage (analyse, calcul de sommes de contrôle, préchargement du contenu), la première époque attend à peu près autant d'octets que lors d'un téléchargement complet, et l'économie finale sera faible. Mais même les démarrages lourds sont restés gagnants dans les tests.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…