Hugging Face lance un stockage cloud sans frais de trafic sortant

Hugging Face et SkyPilot ont lancé le 7 juillet 2026 une intégration de stockage cloud. Les développeurs peuvent désormais exécuter des charges de travail d'IA sur l'un des plus de 20 services cloud, en lisant poids de modèles et datasets directement depuis Hugging Face, sans frais de trafic sortant.

Pourquoi le trafic sortant est devenu un problème

Les équipes qui entraînent des modèles louent souvent des GPU chez plusieurs fournisseurs à la fois, là où des ressources se libèrent. Stocker les données dans chaque cloud coûte cher et complique la gestion, et les transférer entre fournisseurs revient à ~0,09 $/Go chez AWS. Avec des datasets de plusieurs centaines de gigaoctets, les coûts de trafic dépassent vite ceux du calcul.

Les faits clés de l'intégration :

• Annoncée le 7 juillet 2026, développement conjoint des équipes de SkyPilot et de Hugging Face
• Hugging Face Storage : 12-18 $/To/mois, trafic sortant gratuit
• AWS S3 : ~23 $/To plus 0,09 $/Go de trafic sortant
• Vitesse de chargement du modèle au montage : jusqu'à 500 Mo/s, démarrage à froid d'environ 30 secondes
• Installation en une commande : `pip install "skypilot[huggingface]"`

Comment fonctionne le montage via hf://

Le nouveau backend `store: hf` dans la configuration de SkyPilot accepte des adresses au format `hf://` : dépôts de modèles, datasets ou buckets (Buckets). L'authentification passe par la variable d'environnement `HF_TOKEN`.

Deux modes d'accès sont pris en charge. MOUNT lit les données en flux via FUSE : seuls les octets demandés sont récupérés, sans copie intégrale du fichier. COPY effectue un préchargement via `huggingface_hub` avec un cache sur disque. Les Buckets de Hugging Face sont accessibles en lecture et en écriture (pour les checkpoints), tandis que les dépôts de modèles et de datasets sont en lecture seule, avec épinglage facultatif de la révision.

Hugging Face a aussi ajouté des correctifs FUSE qui permettent le montage sans droits de superutilisateur, une exigence standard sous Kubernetes, où root n'est pas disponible.

À quelle vitesse les checkpoints sont écrits

Les équipes ont testé le fine-tuning du modèle Qwen3.5-4B sur le dataset Multilingual-Thinking sur trois clouds à la fois : AWS avec un GPU L40S a donné ~168 Mo/s, GCP avec un L4 ~123 Mo/s et Lambda avec un H100 ~112 Mo/s. L'écart entre fournisseurs est faible et reste dans la fourchette des charges de travail habituelles.

La déduplication via la technologie Xet apporte un gain supplémentaire : les fichiers sont découpés en blocs d'environ 64 Ko selon leur contenu, et les envois répétés sautent les blocs déjà connus. En pratique, l'ajout de 10 000 lignes à une table Parquet de 100 000 lignes a transféré ~10 Mo au lieu de ~106 Mo, et le renvoi d'un blob de 8,43 Go a pris 8 secondes au lieu de 24.

Ce que cela change

Les frais de trafic sortant constituaient une barrière cachée qui obligeait à garder données et calcul dans le même cloud. L'intégration de SkyPilot et de Hugging Face Storage la supprime : les équipes peuvent choisir leurs GPU selon la disponibilité et le prix chez n'importe quel fournisseur, sans perdre d'argent sur le trafic.

Questions fréquentes

Peut-on écrire des checkpoints vers Hugging Face ?

Oui. Les Buckets de Hugging Face prennent en charge la lecture et l'écriture. Les dépôts de modèles et de datasets sont en lecture seule. Lors d'une écriture depuis le cloud vers Hugging Face, les tarifs standard de trafic sortant du fournisseur cloud s'appliquent ; seul le trafic sortant de Hugging Face est gratuit.

Quelles infrastructures SkyPilot prend-il en charge ?

SkyPilot fonctionne avec plus de 20 fournisseurs cloud, des clusters Kubernetes, Slurm et des infrastructures on-premises. L'image de base doit disposer de glibc 2.34+ et d'un accès à `/dev/fuse`.

Combien de clouds l'intégration de

Hugging Face et SkyPilot prend-elle en charge ?

L'intégration prend en charge plus de 20 fournisseurs cloud pour exécuter des charges de travail d'IA.

Pourquoi le trafic sortant coûte-t-il cher lors de l'entraînement de modèles ?

Transférer des données entre fournisseurs cloud revient à ~0,09 $ par gigaoctet chez AWS. Avec des datasets de plusieurs centaines de gigaoctets, les coûts de trafic grimpent vite.