Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarPyTorch Blog→ original

Google et Meta ont appris à PyTorch à tourner sur les TPU : 5 000 modèles Hugging Face fonctionnent d'emblée

Google et Meta ont publié TorchTPU, un backend open source qui fait tourner le code PyTorch ordinaire sur les puces d'IA de Google (TPU), et pas seulement sur les cartes graphiques. Jusqu'ici, il fallait passer par JAX ou par l'ancien PyTorch/XLA, avec des modifications du code et une compilation longue. Dans le cas simple, il suffit désormais de remplacer le périphérique cuda par tpu : les 5 000 modèles Hugging Face les plus téléchargés fonctionnent alors d'emblée. Un essai de portage d'un GPU vers un TPU devient nettement moins coûteux.

Traité par IA depuis PyTorch Blog ; édité par Hamidun News
Google et Meta ont appris à PyTorch à tourner sur les TPU : 5 000 modèles Hugging Face fonctionnent d'emblée
Source : PyTorch Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primairePyTorch Blog ↗
Rédacteur en chef
Chiffre clé #1Environ 450 opérations Aten, y compris les passes avant et arrière
Chiffre clé #2Déjà en production chez certains des plus gros clients de Google Cloud
Chiffre clé #3La vitesse de pointe ne s'obtient pas d'un simple remplacement : les formes et le sharding restent optimisés pour les GPU

La plupart des équipes d'IA écrivent leurs modèles en PyTorch et les exécutent sur des cartes graphiques, le plus souvent de Nvidia. Google dispose de ses propres puces d'IA, les processeurs tensoriels TPU, plus économes en énergie et en coût, mais le code habituel ne tournait pas dessus sans effort : il fallait JAX ou TensorFlow. Google, avec l'équipe PyTorch de Meta, publie aujourd'hui TorchTPU, un backend open source, c'est-à-dire une couche qui traduit les instructions PyTorch dans le langage des TPU.

Le projet a démarré au milieu de 2025. Selon les auteurs, il tourne déjà en production chez certains des plus gros clients de Google Cloud, aussi bien pour l'inférence (les réponses d'un modèle déjà entraîné) que pour l'entraînement. Les 5 000 modèles les plus téléchargés sur Hugging Face, le plus grand catalogue de réseaux de neurones prêts à l'emploi, fonctionnent d'emblée.

Pourquoi la tentative précédente n'a pas pris

La première version de PyTorch pour TPU, PyTorch/XLA, est sortie en 2020. D'après ses auteurs, elle posait quatre problèmes. Le développeur devait intervenir dans le code source et marquer à la main les parties à compiler. La compilation retardait fortement le lancement. Le mode eager, où chaque opération s'exécute immédiatement, n'était pas pris en charge. Et les nouvelles techniques de calcul distribué de PyTorch arrivaient avec du retard.

Imaginez un script d'entraînement qui tourne déjà sur GPU. Dans l'ancien schéma, il aurait fallu le réécrire pour les particularités des TPU. TorchTPU a été conçu à l'envers : le mode eager est prioritaire, et les programmes existants doivent tourner avec un minimum de modifications.

Ce qui a changé dans l'approche

Les auteurs se sont fixé un ensemble de principes. Le runtime ne dépend pas de JAX. torch.compile s'appuie sur Torch Dynamo, avec des performances proches de la compilation JAX. Les techniques de distribution DDP, FSDP et DTensor sont prises en charge au niveau le plus bas de PyTorch. Les opérations collectives (l'échange de données entre puces) sont ramenées à des opérations StableHLO, et non à une bibliothèque séparée comme NCCL. Les erreurs du runtime et du compilateur doivent être signalées par des messages compréhensibles.

En pratique, le portage consiste à écrire torch.device("tpu") à la place de torch.device("cuda"), et tpu_dist à la place du backend nccl. On peut aussi ne pas se lier au matériel et utiliser torch.accelerator.current_accelerator(). Si le paquet TorchTPU est installé sur la machine, PyTorch le charge automatiquement grâce au mécanisme d'autoload.

Les auteurs préviennent toutefois : ce simple remplacement ne permet pas d'atteindre la vitesse de pointe. Les formes des tenseurs, le sharding et l'ensemble des opérations d'un modèle peuvent être optimisés pour les GPU, mais le modèle doit tourner immédiatement.

Ce qui est déjà vérifié

Le support revendiqué couvre environ 450 opérations Aten, y compris les passes avant et arrière pour toutes les opérations de base nécessaires aux principales architectures. Les modes eager et compilé existent, dont le nouveau DeferAndFuse. Il est possible d'écrire ses propres noyaux avec JAX/Pallas et le DSL Helion. La compatibilité avec Transformers v5, Diffusers et Kernels est vérifiée. Parmi les modèles qui fonctionnent d'emblée figurent Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, BERT et T5. Le sharding sur DTensor, l'inférence multi-hôtes dans vLLM et SGLang, l'entraînement dans TorchTitan et l'orchestration avec Ray sont confirmés.

La question de la précision est traitée à part. Le format principal des multiplications matricielles sur TPU est le bfloat16 (un nombre de 16 bits), avec un résultat accumulé en 32 bits. TorchTPU l'active par défaut, et il suffit pour la grande majorité des tâches. Des modes de précision plus élevée sont possibles, mais leur coût est en vitesse : environ trois fois plus cher en calcul pour high, et environ six fois pour highest. Il ne faut les activer que si vous constatez des problèmes de convergence à l'entraînement.

Limites

Sur un TPU, un seul processus utilisateur peut accéder à un appareil donné. TorchTPU applique donc le schéma « un processus par appareil », contrairement à JAX, où l'on a un processus par hôte. Pour cette raison, le placement conjoint des tâches d'apprentissage par renforcement (RL) ne fonctionne pas encore d'emblée, et l'équipe cherche une solution de contournement.

Deuxième limite : le compilateur XLA suppose que les dimensions des tenseurs sont connues à l'avance. Pour PyTorch, c'est gênant, d'où l'ajout d'une « dynamique bornée ». Les tailles maximales sont connues à la compilation, et les tailles exactes sont déterminées à l'exécution. On évite ainsi des recompilations inutiles à chaque changement de forme.

En pratique : si vous choisissez entre GPU et TPU en fonction du coût de l'inférence ou de l'entraînement, l'expérimentation coûte désormais moins cher. Lancez votre modèle sur TPU presque sans modification et regardez où il bute sur les formes des tenseurs et le sharding. C'est là que se concentrera l'essentiel du travail d'optimisation.

Dossier

Questions clés sur cet article

Pourquoi la tentative précédente n'a pas pris?

La première version de PyTorch pour TPU, PyTorch/XLA, est sortie en 2020. D'après ses auteurs, elle posait quatre problèmes. Le développeur devait intervenir dans le code source et marquer à la main les parties à compiler. La compilation retardait fortement le lancement. Le mode eager, où chaque opération s'exécute immédiatement, n'était pas pris en charge. Et les nouvelles techniques de calcul distribué de PyTorch arrivaient avec du retard. Imaginez un script d'entraînement qui tourne déjà sur GPU.

Que sait-on sur Ce qui a changé dans l'approche ?

Les auteurs se sont fixé un ensemble de principes. Le runtime ne dépend pas de JAX. torch.compile s'appuie sur Torch Dynamo, avec des performances proches de la compilation JAX. Les techniques de distribution DDP, FSDP et DTensor sont prises en charge au niveau le plus bas de PyTorch. Les opérations collectives (l'échange de données entre puces) sont ramenées à des opérations StableHLO, et non à une bibliothèque séparée comme NCCL.

Que sait-on sur Ce qui est déjà vérifié ?

Le support revendiqué couvre environ 450 opérations Aten, y compris les passes avant et arrière pour toutes les opérations de base nécessaires aux principales architectures. Les modes eager et compilé existent, dont le nouveau DeferAndFuse. Il est possible d'écrire ses propres noyaux avec JAX/Pallas et le DSL Helion. La compatibilité avec Transformers v5, Diffusers et Kernels est vérifiée. Parmi les modèles qui fonctionnent d'emblée figurent Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, BERT et T5.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…