SkyPilot e Hugging Face lançaram armazenamento sem taxa de tráfego de saída

Hugging Face e SkyPilot em 7 de julho de 2026 lançaram integração de armazenamento em nuvem: os desenvolvedores agora podem executar cargas de trabalho de IA em qualquer um dos 20+ serviços em nuvem, lendo pesos de modelos e conjuntos de dados diretamente do Hugging Face sem cobranças de saída.

Por que o tráfego de saída se tornou um problema

Equipes que treinam modelos frequentemente mantêm GPUs com múltiplos provedores de nuvem simultaneamente—onde quer que recursos livres sejam encontrados. Armazenar dados em cada nuvem é caro e inconveniente, e transferir dados entre provedores custa aproximadamente $0,09/GB na AWS. Com conjuntos de dados em centenas de gigabytes, as cobranças de saída rapidamente excedem os custos de computação.

Fatos-chave sobre a integração:

• Anúncio – 7 de julho de 2026, desenvolvimento conjunto pelas equipes SkyPilot e Hugging Face
• Armazenamento Hugging Face: $12–18/TB/mês, tráfego de saída—gratuito
• AWS S3: ~$23/TB mais $0,09/GB por tráfego de saída
• Velocidade de carregamento do modelo quando montado: até 500 MB/s, inicialização a frio ~30 segundos
• Instalação em uma linha: `pip install "skypilot[huggingface]"`

Como funciona a montagem via hf://

Novo backend `store: hf` em configuração SkyPilot aceita endereços no formato `hf://`—repositórios com modelos, conjuntos de dados ou buckets. A autorização passa através da variável de ambiente `HF_TOKEN`.

Dois modos de acesso são suportados. MOUNT—leitura de streaming via FUSE: apenas bytes solicitados são carregados, sem copiar o arquivo inteiro. COPY—pré-carregamento via `huggingface_hub` com cache em disco. Buckets do Hugging Face estão abertos para leitura e escrita (para checkpoints), repositórios de modelos e conjuntos de dados—somente leitura com fixação de revisão opcional.

Hugging Face também adicionou patches FUSE permitindo montagem sem direitos de superusuário—um requisito padrão do Kubernetes onde root não está disponível.

Quão rápido os checkpoints são gravados

Equipes testaram ajuste fino do modelo Qwen3.5-4B em conjunto de dados Multilingual-Thinking em três nuvens simultaneamente: AWS com GPU L40S mostrou ~168 MB/s, GCP com L4—~123 MB/s, Lambda com H100—~112 MB/s. A variância entre provedores é mínima e se encaixa em intervalos típicos de carga de trabalho.

Ganhos adicionais fornecidos por deduplicação via tecnologia Xet: arquivos são divididos em blocos ~64 KB por conteúdo, e carregamento repetido pula blocos já conhecidos. Na prática, adicionar 10.000 linhas a uma tabela Parquet de 100.000 linhas transferiu ~10 MB em vez de ~106 MB, e recarregar um blob de 8,43 GB levou 8 segundos em vez de 24.

O que isso significa

Cobranças de saída eram uma barreira oculta forçando equipes a manter dados e computação em uma nuvem. A integração SkyPilot e Hugging Face Storage remove esta barreira: equipes podem escolher GPUs por disponibilidade e preço de qualquer provedor sem perder dinheiro com tráfego.

Perguntas frequentes

Você pode gravar checkpoints de volta para Hugging Face?

Sim—Buckets do Hugging Face suportam leitura e escrita. Repositórios de modelos e conjuntos de dados são somente leitura. Ao gravar da nuvem para Hugging Face, cobranças de saída padrão do provedor de nuvem se aplicam—apenas entrada do Hugging Face é gratuita.

Quais infraestruturas o SkyPilot suporta?

SkyPilot funciona com 20+ provedores de nuvem, clusters Kubernetes, Slurm e infraestrutura local. A imagem base deve ter glibc 2.34+ e acesso a `/dev/fuse`.

Quantas nuvens a integração Hugging Face e SkyPilot suporta?

A integração suporta 20+ provedores de nuvem para executar cargas de trabalho de IA.

Por que o tráfego de saída é caro ao treinar modelos?

A transferência de dados entre provedores de nuvem custa aproximadamente $0,09 por gigabyte na AWS. Com conjuntos de dados com centenas de gigabytes, as cobranças de saída crescem rapidamente.