Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

SageMaker запускает задачи за секунды: образ 35,4 ГБ грузится 3–11 с вместо 7 минут

Раньше SageMaker перед запуском кода скачивала контейнерный образ целиком, и вы платили за минуты простоя GPU. Теперь с индексом SOCI она берёт только файлы для старта, остальное докачивает в фоне, как фильм при стриминге. Образ на 35,4 ГБ вместо 7 минут 17 секунд стартует за 3–11 секунд, а простой GPU на загрузке сократился до 90%. Для коротких экспериментов и перебора гиперпараметров достаточно сменить тег образа.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
SageMaker запускает задачи за секунды: образ 35,4 ГБ грузится 3–11 с вместо 7 минут
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Простой GPU при загрузке образа сократился до 90% в замерах AWS
Ключевой факт #2Первая эпоха на 3–16 с дольше, итого задача быстрее на 1–6 минут
Ключевой факт #3Только приватный Amazon ECR; образы до ~4 ГБ выигрывают мало

Каждая минута, которую контейнер с глубоким обучением тратит на скачивание, — это минута, за которую вы платите, и минута, которую ждёт команда. Образы для PyTorch или TensorFlow легко весят больше 10 ГБ. Перед запуском вашего кода SageMaker скачивает образ целиком, распаковывает его и записывает каждый слой на диск. Для крупного образа это несколько минут оплачиваемого времени, за которые модель не продвигается ни на шаг. AWS объявила, что для задач обучения (Training) и обработки данных (Processing) в SageMaker AI теперь работает индексирование Seekable OCI, или SOCI. Оно убирает полную загрузку образа с критического пути запуска.

Как это работает

SOCI — технология с открытым исходным кодом для «ленивой» загрузки контейнеров. Представьте стриминг фильма: плеер берёт начало и догружает остальное по ходу просмотра, не заставляя ждать полного скачивания. Здесь то же самое. Рантайм по индексу забирает только файлы, нужные для старта контейнера, а всё остальное подтягивает в фоне, когда код к ним обращается.

Индекс — это метаданные со списком всех файлов в образе. Он хранится в Amazon ECR как отдельный артефакт рядом с исходным образом, поэтому дайджест образа и существующие подписи остаются действительными. Менять определение задачи, точку входа или каналы данных не нужно.

SageMaker сама проверяет, есть ли у образа индекс. Если есть, включается ленивая загрузка. Если индекса нет, задача скачивает образ как обычно. Если индекс нельзя прочитать или ленивая загрузка не сработала, задача тоже откатывается к обычной загрузке и продолжает работать. Сломать существующий процесс добавлением индекса нельзя.

Что показали замеры

AWS сравнила обычную загрузку и SOCI на восьми образах размером от 1,8 до 35,4 ГБ. Использовались GPU- и CPU-инстансы от ml.g4dn до ml.p5 и ml.m7i в регионах us-west-2 и us-east-1. Время считали от начала загрузки образа до готовности контейнера. Все цифры — медианы повторных запусков:

  • образ 1,8 ГБ: 48 секунд при обычной загрузке против 3–11 секунд с SOCI;
  • образ 13,2 ГБ: 3 минуты 42 секунды против примерно 6 секунд;
  • образ 35,4 ГБ: 7 минут 17 секунд против 3–11 секунд.

Ленивая загрузка держится на 3–11 секундах независимо от размера образа, поэтому чем он больше, тем заметнее выигрыш. Для образа на 13,2 ГБ проверили 13 комбинаций типов и размеров инстансов. Обычная загрузка занимала от 3 минут 16 секунд до 4 минут 20 секунд, ленивая — 6–8 секунд, то есть примерно в 34 раза быстрее на любой конфигурации. Менять инстанс ради эффекта не нужно.

Отдельно проверили, не страдает ли само обучение. Прогнали классификацию изображений ResNet-50 на Imagenette (9 469 картинок) и полное дообучение Qwen2.5-0.5B на alpaca-cleaned (51 760 примеров). Со второй эпохи время на эпоху одинаково. Первая эпоха на образе с индексом длиннее на 3–16 секунд: фреймворк впервые обращается к файлам, и их приходится догружать. В итоге каждая задача завершалась на 1–6 минут раньше. AWS заявляет, что простой GPU во время загрузки образа сократился до 90%.

Ограничения и как подключить

Выигрыш зависит от вашего кода. Если точка входа в начале читает почти весь образ (сканирует, считает контрольные суммы, предзагружает содержимое), первая эпоха ждёт примерно столько же байтов, сколько и при полной загрузке, и итоговая экономия будет небольшой. Но даже тяжёлые старты в тестах остались в плюсе. torch.compile и JIT-сборка расширения CUDA добавили 7–15 секунд к первой эпохе, а чистая экономия составила от 3 минут 25 секунд до 3 минут 56 секунд. Модель на 6 ГБ внутри образа подгружалась при загрузке 2–3,5 минуты, но задача всё равно завершилась на 2–2,5 минуты раньше.

Что учесть:

  • работает только с приватными репозиториями Amazon ECR; образы из других реестров и режим TrainingRepositoryAccessMode=Vpc не подходят;
  • для образов меньше примерно 4 ГБ улучшение скромное;
  • AWS советует проверить скрипты на привязку к Docker, прежде чем переводить на новый способ загрузки.

Подключить можно двумя путями. Первый: взять готовый AWS Deep Learning Container с суффиксом -soci в теге. Такие варианты есть для PyTorch Training, TensorFlow Training, vLLM и SGLang. Второй: проиндексировать свой образ командой nerdctl image convert --soci на Linux-хосте с containerd и SOCI snapshotter, затем отправить его в ECR. Если ваш образ собран на основе DLC, индекс базового образа не переносится, и для итогового образа индекс нужно создать заново. Создание индексов можно автоматизировать в CI/CD через CFN ECR SOCI Index Builder: он реагирует на события пуша в ECR через EventBridge и не требует менять пайплайн сборки.

Для команд, которые запускают сотни коротких задач при подборе гиперпараметров, это почти бесплатная экономия: меняется только тег образа. Сначала проверьте на своём пайплайне, какую часть образа код читает на старте. От этого зависит, сколько вы реально выиграете.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это работает?

SOCI — технология с открытым исходным кодом для «ленивой» загрузки контейнеров. Представьте стриминг фильма: плеер берёт начало и догружает остальное по ходу просмотра, не заставляя ждать полного скачивания. Здесь то же самое. Рантайм по индексу забирает только файлы, нужные для старта контейнера, а всё остальное подтягивает в фоне, когда код к ним обращается. Индекс — это метаданные со списком всех файлов в образе.

Что известно по теме: что показали замеры?

AWS сравнила обычную загрузку и SOCI на восьми образах размером от 1,8 до 35,4 ГБ. Использовались GPU- и CPU-инстансы от ml.g4dn до ml.p5 и ml.m7i в регионах us-west-2 и us-east-1. Время считали от начала загрузки образа до готовности контейнера. Все цифры — медианы повторных запусков: образ 1,8 ГБ: 48 секунд при обычной загрузке против 3–11 секунд с SOCI; образ 13,2 ГБ: 3 минуты 42 секунды против примерно 6 секунд; образ 35,4 ГБ: 7 минут 17 секунд против 3–11 секунд.

Что известно по теме: ограничения и как подключить?

Выигрыш зависит от вашего кода. Если точка входа в начале читает почти весь образ (сканирует, считает контрольные суммы, предзагружает содержимое), первая эпоха ждёт примерно столько же байтов, сколько и при полной загрузке, и итоговая экономия будет небольшой. Но даже тяжёлые старты в тестах остались в плюсе. torch.compile и JIT-сборка расширения CUDA добавили 7–15 секунд к первой эпохе, а чистая экономия составила от 3 минут 25 секунд до 3 минут 56 секунд.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…