SkyPilot и Hugging Face запустили хранилище без платы за исходящий трафик

Hugging Face и SkyPilot 7 июля 2026 года запустили интеграцию хранилища: теперь AI-нагрузки можно запускать на любом из 20+ поддерживаемых облаков, читая веса моделей и датасеты напрямую из Hugging Face Storage — без платы за исходящий трафик.

Почему исходящий трафик стал проблемой

Команды, которые обучают модели, нередко держат GPU у нескольких облачных провайдеров одновременно — там, где нашлись свободные ресурсы. Хранить данные в каждом облаке дорого и неудобно, а передача данных между провайдерами обходится в ~$0,09/ГБ у AWS. При датасетах в сотни гигабайт затраты на трафик быстро обгоняют стоимость вычислений.

Ключевые факты об интеграции:

• Анонс — 7 июля 2026 года, совместная разработка команд SkyPilot и Hugging Face
• Hugging Face Storage: $12-18/ТБ/месяц, исходящий трафик — бесплатно
• AWS S3: ~$23/ТБ плюс $0,09/ГБ за исходящий трафик
• Скорость загрузки модели при монтировании: до 500 МБ/с, холодный старт ~30 секунд
• Установка одной командой: `pip install "skypilot[huggingface]"`

Как работает монтирование через hf://

Новый бэкенд `store: hf` в конфигурации SkyPilot принимает адреса формата `hf://` — репозитории с моделями, датасеты или корзины (Buckets). Авторизация проходит через переменную окружения `HF_TOKEN`.

Поддерживаются два режима доступа. MOUNT — потоковое чтение через FUSE: подгружаются только запрашиваемые байты, без копирования файла целиком. COPY — предварительная загрузка через `huggingface_hub` с кешем на диске. Корзины Hugging Face открыты на чтение и запись (для чекпоинтов), репозитории с моделями и датасетами — только на чтение с опциональным закреплением ревизии.

Hugging Face также добавил FUSE-патчи, разрешающие монтирование без прав суперпользователя — стандартное требование Kubernetes, где root недоступен.

Насколько быстро пишутся чекпоинты

Команды протестировали тонкую настройку модели Qwen3.5-4B на датасете Multilingual-Thinking на трёх облаках одновременно: AWS с GPU L40S дал ~168 МБ/с, GCP с L4 — ~123 МБ/с, Lambda с H100 — ~112 МБ/с. Разброс между провайдерами невелик и укладывается в рамки типичных рабочих нагрузок.

Дополнительный выигрыш обеспечивает дедупликация через технологию Xet: файлы разбиваются на блоки ~64 КБ по содержимому, а повторная загрузка пропускает уже известные блоки. На практике добавление 10 000 строк к Parquet-таблице на 100 000 строк передало ~10 МБ вместо ~106 МБ, а повторная загрузка блоба на 8,43 ГБ заняла 8 секунд вместо 24.

Что это значит

Плата за исходящий трафик была скрытым барьером, вынуждавшим держать данные и вычисления в одном облаке. Интеграция SkyPilot и Hugging Face Storage убирает этот барьер: команды могут выбирать GPU по доступности и цене у любого провайдера, не теряя на трафике.

Частые вопросы

Можно ли записывать чекпоинты обратно в Hugging Face?

Да — Hugging Face Buckets поддерживают чтение и запись. Репозитории с моделями и датасетами доступны только на чтение. При записи из облака в Hugging Face применяются стандартные тарифы облачного провайдера на исходящий трафик — бесплатен только входящий трафик со стороны Hugging Face.

Какие инфраструктуры поддерживает SkyPilot?

SkyPilot работает с 20+ облачными провайдерами, Kubernetes-кластерами, Slurm и on-premises инфраструктурой. Базовый образ должен иметь glibc 2.34+ и доступ к `/dev/fuse`.