Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarPyTorch Blog→ original

Google e Meta fazem o PyTorch rodar em TPUs: 5000 modelos do Hugging Face funcionam de imediato

Google e Meta lançaram o TorchTPU, um backend aberto que executa código PyTorch comum nos chips de IA do Google (TPU), e não só em placas de vídeo. Antes, isso exigia JAX ou o antigo PyTorch/XLA, com alterações no código e compilação demorada. Agora, no caso mais simples, basta trocar o dispositivo cuda por tpu, e os 5000 modelos mais baixados do Hugging Face funcionam de imediato. Testar a migração de GPU para TPU ficou bem mais barato.

Processado por IA de PyTorch Blog; editado por Hamidun News
Google e Meta fazem o PyTorch rodar em TPUs: 5000 modelos do Hugging Face funcionam de imediato
Fonte: PyTorch Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalPyTorch Blog ↗
Editor-chefe
Dado-chave #1Cerca de 450 operações Aten, incluindo passagem direta (forward) e reversa (backward)
Dado-chave #2Já em produção em parte dos maiores clientes do Google Cloud
A velocidade máxima não vem só com a trocaformatos de tensor e sharding foram pensados para GPU

A maioria das equipes de IA escreve modelos em PyTorch e os executa em placas de vídeo, na maioria das vezes da Nvidia. O Google tem seus próprios chips de IA, os processadores tensoriais TPU, que são mais econômicos em energia e custo. Mas o código habitual simplesmente não rodava neles: era preciso usar JAX ou TensorFlow.

Agora o Google, junto com a equipe do PyTorch na Meta, lançou o TorchTPU, um backend aberto, ou seja, uma camada que traduz os comandos do PyTorch para a linguagem das TPUs. O projeto começou em meados de 2025. Segundo os autores, ele já roda em produção em parte dos maiores clientes do Google Cloud, tanto para inferência (as respostas de um modelo já treinado) quanto para treinamento.

Os 5000 modelos mais baixados do Hugging Face, o maior catálogo de redes neurais prontas, funcionam de imediato.

Por que a tentativa anterior não pegou

A primeira versão do PyTorch para TPU, o PyTorch/XLA, saiu em 2020. Na descrição dos autores, ela tinha quatro problemas. O desenvolvedor precisava mexer no código-fonte e marcar manualmente os trechos que deveriam ser compilados. A compilação atrasava bastante a execução. O modo eager, em que cada operação é executada na hora, não era suportado. E as novas técnicas de computação distribuída do próprio PyTorch chegavam lá com atraso.

Imagine que você tem um script de treinamento funcionando em GPU. No esquema antigo, seria preciso reescrevê-lo para as particularidades da TPU. O TorchTPU foi construído ao contrário: o modo eager tem prioridade, e os programas existentes devem rodar com o mínimo de alterações.

O que mudou na abordagem

Os autores definiram de antemão um conjunto de princípios. O runtime não depende do JAX. O torch.compile usa o Torch Dynamo, e o desempenho deve ficar próximo ao da compilação em JAX. As técnicas distribuídas DDP, FSDP e DTensor são suportadas no nível mais baixo do PyTorch. As operações coletivas (troca de dados entre chips) são reduzidas a operações StableHLO, em vez de depender de uma biblioteca separada como a NCCL. Erros de runtime e do compilador devem aparecer com mensagens compreensíveis.

Na prática, a migração fica assim: em vez de torch.device("cuda"), escreve-se torch.device("tpu"), e em vez do backend nccl, usa-se tpu_dist. Também é possível nem se prender ao hardware e usar torch.accelerator.current_accelerator(). Se o pacote TorchTPU estiver instalado na máquina, o PyTorch o carrega por meio do mecanismo de autoload.

Os autores avisam com franqueza: a velocidade máxima não vem com essa troca. Os formatos dos tensores, o sharding e o conjunto de operações do modelo podem ter sido otimizados para GPU, mas o modelo deve rodar de imediato.

O que já foi verificado

O suporte declarado cobre cerca de 450 operações Aten, incluindo passagem direta e reversa de todas as operações básicas necessárias às principais arquiteturas. Há os modos eager e compiled, entre eles o novo DeferAndFuse. Kernels próprios podem ser escritos via JAX/Pallas e Helion DSL. A compatibilidade foi testada com Transformers v5, Diffusers e Kernels. Entre os modelos que rodam de imediato estão Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, BERT e T5. Foram confirmados o sharding com DTensor, a inferência multi-host em vLLM e SGLang, o treinamento em TorchTitan e a orquestração via Ray.

A precisão é descrita à parte. O formato principal das multiplicações de matrizes na TPU é bfloat16 (número de 16 bits), com acúmulo do resultado em formato de 32 bits. O TorchTPU o ativa por padrão, e para a grande maioria das tarefas a precisão é suficiente. Modos de maior precisão são possíveis, mas custam velocidade: cerca de três vezes mais caro em computação para o high e cerca de seis vezes para o highest. Só vale ativá-los se você encontrar problemas de convergência no treinamento.

Limitações

Na TPU, apenas um processo de usuário pode acessar um dispositivo. Por isso, o TorchTPU adota o esquema de "um processo por dispositivo", ao contrário do JAX, em que há um processo por host. Em razão disso, a colocação conjunta de tarefas para aprendizado por reforço (RL) ainda não funciona de imediato, e a equipe procura uma solução alternativa.

A segunda limitação: o compilador XLA espera que os tamanhos dos tensores sejam conhecidos de antemão. Isso é incômodo para o PyTorch, então foi adicionada a "dinâmica limitada". Os tamanhos máximos são conhecidos na etapa de compilação, e os exatos são definidos durante a execução. Assim, evitam-se recompilações desnecessárias quando o formato muda.

O que fazer na prática: se você está escolhendo entre GPU e TPU pelo custo de inferência ou treinamento, o experimento agora sai mais barato. Rode seu modelo na TPU quase sem alterações e veja onde ele esbarra nos formatos de tensor e no sharding. É ali que estará o principal trabalho de otimização.

História

Perguntas frequentes sobre a notícia

Por que a tentativa anterior não pegou?

A primeira versão do PyTorch para TPU, o PyTorch/XLA, saiu em 2020. Na descrição dos autores, ela tinha quatro problemas. O desenvolvedor precisava mexer no código-fonte e marcar manualmente os trechos que deveriam ser compilados. A compilação atrasava bastante a execução. O modo eager, em que cada operação é executada na hora, não era suportado. E as novas técnicas de computação distribuída do próprio PyTorch chegavam lá com atraso. Imagine que você tem um script de treinamento funcionando em GPU.

O que mudou na abordagem?

Os autores definiram de antemão um conjunto de princípios. O runtime não depende do JAX. O torch.compile usa o Torch Dynamo, e o desempenho deve ficar próximo ao da compilação em JAX. As técnicas distribuídas DDP, FSDP e DTensor são suportadas no nível mais baixo do PyTorch. As operações coletivas (troca de dados entre chips) são reduzidas a operações StableHLO, em vez de depender de uma biblioteca separada como a NCCL. Erros de runtime e do compilador devem aparecer com mensagens compreensíveis.

O que já foi verificado?

O suporte declarado cobre cerca de 450 operações Aten, incluindo passagem direta e reversa de todas as operações básicas necessárias às principais arquiteturas. Há os modos eager e compiled, entre eles o novo DeferAndFuse. Kernels próprios podem ser escritos via JAX/Pallas e Helion DSL. A compatibilidade foi testada com Transformers v5, Diffusers e Kernels. Entre os modelos que rodam de imediato estão Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, BERT e T5.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…