SageMaker inicia tarefas em segundos: imagem de 35,4 GB carrega em 3–11 s em vez de 7 minutos
Antes, o SageMaker baixava a imagem do contêiner inteira antes de executar o código, e você pagava por minutos de GPU ociosa. Agora, com o índice SOCI, ele pega apenas os arquivos necessários para a inicialização e completa o restante em segundo plano, como um filme em streaming. Uma imagem de 35,4 GB, que levava 7 minutos e 17 segundos, passa a iniciar em 3–11 segundos, e a ociosidade da GPU durante o carregamento caiu até 90%. Para experimentos curtos e busca de hiperparâmetros, basta trocar a tag da imagem.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Cada minuto que um contêiner de deep learning gasta baixando é um minuto pelo qual você paga e um minuto em que a equipe espera. Imagens para PyTorch ou TensorFlow facilmente passam de 10 GB. Antes de executar o seu código, o SageMaker baixa a imagem inteira, descompacta e grava cada camada no disco. Para uma imagem grande, isso são vários minutos de tempo cobrado em que o modelo não avança um passo sequer. A AWS anunciou que, para jobs de treinamento (Training) e processamento de dados (Processing) no SageMaker AI, agora funciona a indexação Seekable OCI, ou SOCI. Ela tira o download completo da imagem do caminho crítico da inicialização.
Como funciona
O SOCI é uma tecnologia de código aberto para carregamento "preguiçoso" de contêineres. Pense no streaming de um filme: o player começa a tocar e carrega o restante conforme você assiste, sem obrigar você a esperar o download completo. Aqui é a mesma coisa. O runtime, usando o índice, busca apenas os arquivos necessários para iniciar o contêiner, e o restante é puxado em segundo plano, quando o código passa a acessá-lo.
O índice é um conjunto de metadados com a lista de todos os arquivos da imagem. Ele fica armazenado no Amazon ECR como um artefato separado, ao lado da imagem original, de modo que o digest da imagem e as assinaturas existentes continuam válidos. Não é preciso alterar a definição da tarefa, o entrypoint ou os canais de dados.
O próprio SageMaker verifica se a imagem tem índice. Se tiver, o carregamento preguiçoso é ativado. Se não tiver, a tarefa baixa a imagem normalmente. Se o índice não puder ser lido ou o carregamento preguiçoso falhar, a tarefa também volta ao download comum e continua funcionando. Não é possível quebrar um processo existente ao adicionar um índice.
O que as medições mostraram
A AWS comparou o download comum com o SOCI em oito imagens, de 1,8 a 35,4 GB. Foram usadas instâncias com GPU e CPU, de ml.g4dn a ml.p5 e ml.m7i, nas regiões us-west-2 e us-east-1. O tempo foi contado desde o início do download da imagem até o contêiner estar pronto. Todos os números são medianas de execuções repetidas:
- imagem de 1,8 GB: 48 segundos no download comum contra 3–11 segundos com SOCI;
- imagem de 13,2 GB: 3 minutos e 42 segundos contra cerca de 6 segundos;
- imagem de 35,4 GB: 7 minutos e 17 segundos contra 3–11 segundos.
O carregamento preguiçoso se mantém em 3–11 segundos independentemente do tamanho da imagem, por isso quanto maior a imagem, mais visível é o ganho. Para a imagem de 13,2 GB, foram testadas 13 combinações de tipos e tamanhos de instância. O download comum levou de 3 minutos e 16 segundos a 4 minutos e 20 segundos, enquanto o carregamento preguiçoso ficou entre 6 e 8 segundos, ou seja, cerca de 34 vezes mais rápido em qualquer configuração. Não é necessário trocar de instância para obter o efeito.
Separadamente, verificou-se se o próprio treinamento sofre algum impacto. Foram executados a classificação de imagens ResNet-50 no Imagenette (9.469 imagens) e o ajuste fino completo do Qwen2.5-0.5B no alpaca-cleaned (51.760 exemplos). A partir da segunda época, o tempo por época é o mesmo. A primeira época em uma imagem com índice fica mais longa em 3–16 segundos, porque o framework acessa os arquivos pela primeira vez e eles precisam ser carregados. No total, cada tarefa terminou de 1 a 6 minutos mais cedo. A AWS afirma que a ociosidade da GPU durante o carregamento da imagem caiu até 90%.
Limitações e como ativar
O ganho depende do seu código. Se o entrypoint lê quase toda a imagem logo no início (faz varredura, calcula checksums ou pré-carrega conteúdo), a primeira época espera aproximadamente o mesmo número de bytes que no download completo, e a economia final será pequena. Ainda assim, mesmo inicializações pesadas ficaram no positivo nos testes. O torch.compile e a compilação JIT de extensões CUDA acrescentaram de 7 a 15 segundos à primeira época, mas a economia líquida foi de 3 minutos e 25 segundos a 3 minutos e 56 segundos. Um modelo de 6 GB dentro da imagem levou de 2 a 3,5 minutos para carregar, e mesmo assim a tarefa terminou de 2 a 2,5 minutos mais cedo.
Pontos a considerar:
- funciona apenas com repositórios privados do Amazon ECR; imagens de outros registries e o modo TrainingRepositoryAccessMode=Vpc não são compatíveis;
- para imagens com menos de cerca de 4 GB, a melhoria é modesta;
- a AWS recomenda verificar se os scripts dependem do Docker antes de migrar para o novo modo de carregamento.
Há dois caminhos para ativar. O primeiro é usar um AWS Deep Learning Container pronto com o sufixo -soci na tag. Essas variantes existem para PyTorch Training, TensorFlow Training, vLLM e SGLang.
O segundo é indexar a sua própria imagem com o comando nerdctl image convert --soci em um host Linux com containerd e o SOCI snapshotter, e então enviá-la ao ECR. Se a sua imagem for construída sobre um DLC, o índice da imagem base não é herdado, e é preciso criar um novo índice para a imagem final. A criação dos índices pode ser automatizada no CI/CD com o CFN ECR SOCI Index Builder: ele reage aos eventos de push no ECR via EventBridge e não exige mudanças no pipeline de build.
Para equipes que executam centenas de tarefas curtas na busca de hiperparâmetros, essa é uma economia quase sem custo, já que só a tag da imagem muda. Antes, verifique no seu pipeline qual parte da imagem o código lê na inicialização. É isso que determina o quanto você vai realmente ganhar.
- 21 de nov. de 2026Nvidia dobrou o lucro, mas ações caem 2% por causa da busca por um novo CEO
- 21 de nov. de 2026Nous Research retreinou o chinês Qwen3.8, e a propaganda nas respostas caiu de 22% para 1%
- 21 de nov. de 2026Samsung quer comprar a Modine, fornecedora de refrigeração para data centers, por quase US$ 6 bilhões
- 21 de nov. de 2026Reuters: projetos de IA na China no valor de US$ 3,2 bilhões dependem de chips da Nvidia, e Huang deixou o cargo
Perguntas frequentes sobre a notícia
Como funciona?
O SOCI é uma tecnologia de código aberto para carregamento "preguiçoso" de contêineres. Pense no streaming de um filme: o player começa a tocar e carrega o restante conforme você assiste, sem obrigar você a esperar o download completo. Aqui é a mesma coisa. O runtime, usando o índice, busca apenas os arquivos necessários para iniciar o contêiner, e o restante é puxado em segundo plano, quando o código passa a acessá-lo. O índice é um conjunto de metadados com a lista de todos os arquivos da imagem.
O que as medições mostraram?
A AWS comparou o download comum com o SOCI em oito imagens, de 1,8 a 35,4 GB. Foram usadas instâncias com GPU e CPU, de ml.g4dn a ml.p5 e ml.m7i, nas regiões us-west-2 e us-east-1. O tempo foi contado desde o início do download da imagem até o contêiner estar pronto.
O que se sabe sobre Limitações e como ativar?
O ganho depende do seu código. Se o entrypoint lê quase toda a imagem logo no início (faz varredura, calcula checksums ou pré-carrega conteúdo), a primeira época espera aproximadamente o mesmo número de bytes que no download completo, e a economia final será pequena. Ainda assim, mesmo inicializações pesadas ficaram no positivo nos testes.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.