Hugging Face lança nuvem sem cobrança por tráfego de saída

Hugging Face e SkyPilot lançaram em 7 de julho de 2026 uma integração de armazenamento em nuvem. Desenvolvedores agora podem executar cargas de trabalho de IA em qualquer um de mais de 20 serviços de nuvem, lendo pesos de modelos e datasets diretamente da Hugging Face, sem cobrança por tráfego de saída.

Por que o tráfego de saída virou um problema

Equipes que treinam modelos costumam manter GPUs em vários provedores ao mesmo tempo, onde houver recursos livres. Armazenar dados em cada nuvem é caro e trabalhoso, e transferir dados entre provedores custa ~US$ 0,09/GB na AWS. Com datasets de centenas de gigabytes, o custo de tráfego logo passa o de computação.

Principais fatos sobre a integração:

• Anunciada em 7 de julho de 2026, desenvolvimento conjunto das equipes da SkyPilot e da Hugging Face
• Hugging Face Storage: US$ 12-18/TB/mês, tráfego de saída gratuito
• AWS S3: ~US$ 23/TB mais US$ 0,09/GB por tráfego de saída
• Velocidade de carregamento do modelo na montagem: até 500 MB/s, cold start de ~30 segundos
• Instalação com um único comando: `pip install "skypilot[huggingface]"`

Como funciona a montagem via hf://

O novo backend `store: hf` na configuração do SkyPilot aceita endereços no formato `hf://`: repositórios de modelos, datasets ou buckets (Buckets). A autenticação é feita pela variável de ambiente `HF_TOKEN`.

Há dois modos de acesso. MOUNT faz leitura em streaming via FUSE: só os bytes solicitados são carregados, sem copiar o arquivo inteiro. COPY faz o carregamento prévio por `huggingface_hub`, com cache em disco. Os Buckets da Hugging Face aceitam leitura e escrita (para checkpoints); os repositórios de modelos e datasets são somente leitura, com fixação opcional de revisão.

A Hugging Face também adicionou patches de FUSE que permitem a montagem sem privilégios de superusuário, exigência padrão no Kubernetes, onde o root não está disponível.

Qual a velocidade de escrita dos checkpoints

As equipes testaram o ajuste fino do modelo Qwen3.5-4B no dataset Multilingual-Thinking em três nuvens ao mesmo tempo: a AWS com GPU L40S entregou ~168 MB/s, a GCP com L4 ~123 MB/s e a Lambda com H100 ~112 MB/s. A diferença entre provedores é pequena e fica dentro da faixa de cargas de trabalho típicas.

A deduplicação pela tecnologia Xet traz um ganho adicional: os arquivos são divididos em blocos de ~64 KB conforme o conteúdo, e novos uploads pulam os blocos já conhecidos. Na prática, adicionar 10 000 linhas a uma tabela Parquet de 100 000 linhas transferiu ~10 MB em vez de ~106 MB, e reenviar um blob de 8,43 GB levou 8 segundos em vez de 24.

O que isso significa

A cobrança por tráfego de saída era uma barreira oculta que obrigava a manter dados e computação na mesma nuvem. A integração entre SkyPilot e Hugging Face Storage remove essa barreira: as equipes podem escolher GPUs por disponibilidade e preço em qualquer provedor, sem perder dinheiro com tráfego.

Perguntas frequentes

É possível gravar checkpoints de volta na Hugging Face?

Sim. Os Buckets da Hugging Face aceitam leitura e escrita. Os repositórios de modelos e datasets são somente leitura. Ao gravar da nuvem na Hugging Face, valem as tarifas padrão de tráfego de saída do provedor de nuvem; só o tráfego que sai da Hugging Face é gratuito.

Quais infraestruturas o SkyPilot suporta?

O SkyPilot funciona com mais de 20 provedores de nuvem, clusters Kubernetes, Slurm e infraestrutura on-premises. A imagem base precisa ter glibc 2.34+ e acesso a `/dev/fuse`.

Quantas nuvens a integração entre

Hugging Face e SkyPilot suporta?

A integração suporta mais de 20 provedores de nuvem para executar cargas de trabalho de IA.

Por que o tráfego de saída é caro no treinamento de modelos?

Transferir dados entre provedores de nuvem custa ~US$ 0,09 por gigabyte na AWS. Com datasets de centenas de gigabytes, o custo de tráfego cresce rapidamente.