Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarAWS Machine Learning Blog→ original

SageMaker inicia tarefas em segundos: imagem de 35,4 GB carrega em 3–11 s em vez de 7 minutos

Antes, o SageMaker baixava a imagem do contêiner inteira antes de executar o código, e você pagava por minutos de GPU ociosa. Agora, com o índice SOCI, ele pega apenas os arquivos necessários para a inicialização e completa o restante em segundo plano, como um filme em streaming. Uma imagem de 35,4 GB, que levava 7 minutos e 17 segundos, passa a iniciar em 3–11 segundos, e a ociosidade da GPU durante o carregamento caiu até 90%. Para experimentos curtos e busca de hiperparâmetros, basta trocar a tag da imagem.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
SageMaker inicia tarefas em segundos: imagem de 35,4 GB carrega em 3–11 s em vez de 7 minutos
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1Ociosidade da GPU durante o carregamento da imagem caiu até 90% nas medições da AWS
Dado-chave #2A primeira época fica 3–16 s mais lenta, mas o job termina 1–6 minutos mais cedo no total
Dado-chave #3Somente Amazon ECR privado; imagens de até ~4 GB ganham pouco

Cada minuto que um contêiner de deep learning gasta baixando é um minuto pelo qual você paga e um minuto em que a equipe espera. Imagens para PyTorch ou TensorFlow facilmente passam de 10 GB. Antes de executar o seu código, o SageMaker baixa a imagem inteira, descompacta e grava cada camada no disco. Para uma imagem grande, isso são vários minutos de tempo cobrado em que o modelo não avança um passo sequer. A AWS anunciou que, para jobs de treinamento (Training) e processamento de dados (Processing) no SageMaker AI, agora funciona a indexação Seekable OCI, ou SOCI. Ela tira o download completo da imagem do caminho crítico da inicialização.

Como funciona

O SOCI é uma tecnologia de código aberto para carregamento "preguiçoso" de contêineres. Pense no streaming de um filme: o player começa a tocar e carrega o restante conforme você assiste, sem obrigar você a esperar o download completo. Aqui é a mesma coisa. O runtime, usando o índice, busca apenas os arquivos necessários para iniciar o contêiner, e o restante é puxado em segundo plano, quando o código passa a acessá-lo.

O índice é um conjunto de metadados com a lista de todos os arquivos da imagem. Ele fica armazenado no Amazon ECR como um artefato separado, ao lado da imagem original, de modo que o digest da imagem e as assinaturas existentes continuam válidos. Não é preciso alterar a definição da tarefa, o entrypoint ou os canais de dados.

O próprio SageMaker verifica se a imagem tem índice. Se tiver, o carregamento preguiçoso é ativado. Se não tiver, a tarefa baixa a imagem normalmente. Se o índice não puder ser lido ou o carregamento preguiçoso falhar, a tarefa também volta ao download comum e continua funcionando. Não é possível quebrar um processo existente ao adicionar um índice.

O que as medições mostraram

A AWS comparou o download comum com o SOCI em oito imagens, de 1,8 a 35,4 GB. Foram usadas instâncias com GPU e CPU, de ml.g4dn a ml.p5 e ml.m7i, nas regiões us-west-2 e us-east-1. O tempo foi contado desde o início do download da imagem até o contêiner estar pronto. Todos os números são medianas de execuções repetidas:

  • imagem de 1,8 GB: 48 segundos no download comum contra 3–11 segundos com SOCI;
  • imagem de 13,2 GB: 3 minutos e 42 segundos contra cerca de 6 segundos;
  • imagem de 35,4 GB: 7 minutos e 17 segundos contra 3–11 segundos.

O carregamento preguiçoso se mantém em 3–11 segundos independentemente do tamanho da imagem, por isso quanto maior a imagem, mais visível é o ganho. Para a imagem de 13,2 GB, foram testadas 13 combinações de tipos e tamanhos de instância. O download comum levou de 3 minutos e 16 segundos a 4 minutos e 20 segundos, enquanto o carregamento preguiçoso ficou entre 6 e 8 segundos, ou seja, cerca de 34 vezes mais rápido em qualquer configuração. Não é necessário trocar de instância para obter o efeito.

Separadamente, verificou-se se o próprio treinamento sofre algum impacto. Foram executados a classificação de imagens ResNet-50 no Imagenette (9.469 imagens) e o ajuste fino completo do Qwen2.5-0.5B no alpaca-cleaned (51.760 exemplos). A partir da segunda época, o tempo por época é o mesmo. A primeira época em uma imagem com índice fica mais longa em 3–16 segundos, porque o framework acessa os arquivos pela primeira vez e eles precisam ser carregados. No total, cada tarefa terminou de 1 a 6 minutos mais cedo. A AWS afirma que a ociosidade da GPU durante o carregamento da imagem caiu até 90%.

Limitações e como ativar

O ganho depende do seu código. Se o entrypoint lê quase toda a imagem logo no início (faz varredura, calcula checksums ou pré-carrega conteúdo), a primeira época espera aproximadamente o mesmo número de bytes que no download completo, e a economia final será pequena. Ainda assim, mesmo inicializações pesadas ficaram no positivo nos testes. O torch.compile e a compilação JIT de extensões CUDA acrescentaram de 7 a 15 segundos à primeira época, mas a economia líquida foi de 3 minutos e 25 segundos a 3 minutos e 56 segundos. Um modelo de 6 GB dentro da imagem levou de 2 a 3,5 minutos para carregar, e mesmo assim a tarefa terminou de 2 a 2,5 minutos mais cedo.

Pontos a considerar:

  • funciona apenas com repositórios privados do Amazon ECR; imagens de outros registries e o modo TrainingRepositoryAccessMode=Vpc não são compatíveis;
  • para imagens com menos de cerca de 4 GB, a melhoria é modesta;
  • a AWS recomenda verificar se os scripts dependem do Docker antes de migrar para o novo modo de carregamento.

Há dois caminhos para ativar. O primeiro é usar um AWS Deep Learning Container pronto com o sufixo -soci na tag. Essas variantes existem para PyTorch Training, TensorFlow Training, vLLM e SGLang.

O segundo é indexar a sua própria imagem com o comando nerdctl image convert --soci em um host Linux com containerd e o SOCI snapshotter, e então enviá-la ao ECR. Se a sua imagem for construída sobre um DLC, o índice da imagem base não é herdado, e é preciso criar um novo índice para a imagem final. A criação dos índices pode ser automatizada no CI/CD com o CFN ECR SOCI Index Builder: ele reage aos eventos de push no ECR via EventBridge e não exige mudanças no pipeline de build.

Para equipes que executam centenas de tarefas curtas na busca de hiperparâmetros, essa é uma economia quase sem custo, já que só a tag da imagem muda. Antes, verifique no seu pipeline qual parte da imagem o código lê na inicialização. É isso que determina o quanto você vai realmente ganhar.

História

Perguntas frequentes sobre a notícia

Como funciona?

O SOCI é uma tecnologia de código aberto para carregamento "preguiçoso" de contêineres. Pense no streaming de um filme: o player começa a tocar e carrega o restante conforme você assiste, sem obrigar você a esperar o download completo. Aqui é a mesma coisa. O runtime, usando o índice, busca apenas os arquivos necessários para iniciar o contêiner, e o restante é puxado em segundo plano, quando o código passa a acessá-lo. O índice é um conjunto de metadados com a lista de todos os arquivos da imagem.

O que as medições mostraram?

A AWS comparou o download comum com o SOCI em oito imagens, de 1,8 a 35,4 GB. Foram usadas instâncias com GPU e CPU, de ml.g4dn a ml.p5 e ml.m7i, nas regiões us-west-2 e us-east-1. O tempo foi contado desde o início do download da imagem até o contêiner estar pronto.

O que se sabe sobre Limitações e como ativar?

O ganho depende do seu código. Se o entrypoint lê quase toda a imagem logo no início (faz varredura, calcula checksums ou pré-carrega conteúdo), a primeira época espera aproximadamente o mesmo número de bytes que no download completo, e a economia final será pequena. Ainda assim, mesmo inicializações pesadas ficaram no positivo nos testes.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…