SkyPilot et Hugging Face ont lancé un stockage sans frais de trafic sortant

Hugging Face et SkyPilot le 7 juillet 2026 ont lancé une intégration de stockage cloud : les développeurs peuvent maintenant exécuter des charges de travail d'IA sur n'importe lequel des 20+ services cloud, en lisant les poids de modèles et les ensembles de données directement à partir de Hugging Face sans frais de sortie.

Pourquoi le trafic de sortie est-il devenu un problème?

Les équipes qui entraînent des modèles maintiennent souvent des GPU auprès de plusieurs fournisseurs de cloud simultanément—partout où les ressources gratuites se trouvent. Stocker des données dans chaque cloud est coûteux et gênant, et le transfert de données entre fournisseurs coûte environ $0,09/GB chez AWS. Avec des ensembles de données de centaines de gigabytes, les frais de sortie dépassent rapidement les coûts de calcul.

Faits clés sur l'intégration :

• Annonce – 7 juillet 2026, développement conjoint par les équipes SkyPilot et Hugging Face
• Stockage Hugging Face : $12–18/TB/mois, trafic de sortie—gratuit
• AWS S3 : ~$23/TB plus $0,09/GB pour le trafic de sortie
• Vitesse de chargement du modèle lors du montage : jusqu'à 500 MB/s, démarrage à froid ~30 secondes
• Installation en une ligne : `pip install "skypilot[huggingface]"`

Comment fonctionne le montage via hf://

Nouveau backend `store: hf` dans la configuration SkyPilot accepte les adresses au format `hf://`—référentiels avec modèles, ensembles de données ou buckets. L'autorisation passe par la variable d'environnement `HF_TOKEN`.

Deux modes d'accès sont supportés. MOUNT—lecture en streaming via FUSE : seuls les octets demandés sont chargés, sans copier le fichier entier. COPY—préchargement via `huggingface_hub` avec cache disque. Les buckets Hugging Face sont ouverts en lecture et écriture (pour les points de contrôle), les référentiels de modèles et d'ensembles de données—lecture seule avec fixation de révision optionnelle.

Hugging Face a également ajouté des correctifs FUSE permettant le montage sans droits de superutilisateur—une exigence standard de Kubernetes où root n'est pas disponible.

Quelle est la vitesse d'écriture des points de contrôle?

Les équipes ont testé l'ajustement fin du modèle Qwen3.5-4B sur l'ensemble de données Multilingual-Thinking sur trois clouds simultanément : AWS avec GPU L40S a montré ~168 MB/s, GCP avec L4—~123 MB/s, Lambda avec H100—~112 MB/s. La variance entre fournisseurs est minime et se situe dans les plages de charge de travail typiques.

Des gains supplémentaires fournis par la déduplication via la technologie Xet : les fichiers sont divisés en blocs ~64 KB par contenu, et le rechargement passe les blocs déjà connus. En pratique, l'ajout de 10 000 lignes à une table Parquet de 100 000 lignes a transféré ~10 MB au lieu de ~106 MB, et le rechargement d'un blob de 8,43 GB a pris 8 secondes au lieu de 24.

Ce que cela signifie

Les frais de sortie étaient une barrière cachée forçant les équipes à garder les données et le calcul dans un seul cloud. L'intégration SkyPilot et Hugging Face Storage supprime cette barrière : les équipes peuvent choisir les GPU par disponibilité et prix auprès de n'importe quel fournisseur sans perdre d'argent au trafic.

Questions fréquemment posées

Pouvez-vous réécrire les points de contrôle vers

Hugging Face?

Oui—les buckets Hugging Face supportent la lecture et l'écriture. Les référentiels de modèles et d'ensembles de données sont en lecture seule. Lors de l'écriture du cloud vers Hugging Face, les frais de sortie standard du fournisseur de cloud s'appliquent—seule l'entrée de Hugging Face est gratuite.

Quelles infrastructures SkyPilot supporte-t-il?

SkyPilot fonctionne avec 20+ fournisseurs de cloud, clusters Kubernetes, Slurm et infrastructure sur site. L'image de base doit avoir glibc 2.34+ et un accès `/dev/fuse`.

Combien de clouds l'intégration

Hugging Face et SkyPilot supporte-t-elle? L'intégration supporte 20+ fournisseurs de cloud pour exécuter des charges de travail d'IA.

Pourquoi le trafic de sortie est-il coûteux lors de l'entraînement des modèles?

Le transfert de données entre fournisseurs de cloud coûte environ $0,09 par gigabyte chez AWS. Avec des ensembles de données de centaines de gigabytes, les frais de sortie augmentent rapidement.