Google y Meta enseñan a PyTorch a funcionar en TPU: 5000 modelos de Hugging Face, listos desde el primer momento
Google y Meta han lanzado TorchTPU, un backend abierto que ejecuta código PyTorch normal en los chips de IA de Google (TPU), no solo en tarjetas gráficas. Hasta ahora hacía falta JAX o el antiguo PyTorch/XLA, con cambios en el código y una compilación lenta. En el caso sencillo basta con sustituir el dispositivo cuda por tpu, y los 5000 modelos más descargados de Hugging Face funcionan desde el primer momento. Las pruebas de migración de GPU a TPU son ahora bastante más baratas.
Procesado por IA desde PyTorch Blog; editado por Hamidun News
La mayoría de los equipos de IA escribe sus modelos en PyTorch y los ejecuta en tarjetas gráficas, sobre todo de Nvidia. Google tiene sus propios chips de IA, las unidades de procesamiento tensorial TPU, que consumen menos energía y cuestan menos, pero el código habitual no funcionaba en ellas sin más: hacía falta JAX o TensorFlow. Ahora Google, junto con el equipo de PyTorch en Meta, ha publicado TorchTPU, un backend abierto, es decir, una capa que traduce las instrucciones de PyTorch al lenguaje de las TPU.
El proyecto arrancó a mediados de 2025. Según sus autores, ya funciona en producción en parte de los mayores clientes de Google Cloud, tanto para inferencia (obtener respuestas de un modelo ya entrenado) como para entrenamiento. Desde el primer momento se ejecutan 5000 de los modelos más descargados de Hugging Face, el mayor catálogo de redes neuronales preentrenadas.
Por qué no prosperó el intento anterior
La primera versión de PyTorch para TPU, PyTorch/XLA, salió en 2020. Según la descripción de sus autores, tenía cuatro problemas. El desarrollador tenía que intervenir en el código fuente y marcar a mano las partes que debían compilarse. La compilación retrasaba mucho el arranque. El modo eager, en el que cada operación se ejecuta de inmediato, no estaba soportado. Y las nuevas técnicas de computación distribuida de PyTorch llegaban allí con retraso.
Imagine que tiene un script de entrenamiento que funciona en GPU. Con el esquema anterior, habría que reescribirlo para adaptarlo a las particularidades de las TPU. TorchTPU se diseñó al revés: el modo eager tiene prioridad y los programas existentes deben ejecutarse con cambios mínimos.
Qué cambió en el enfoque
Los autores se fijaron de antemano un conjunto de principios. El runtime no depende de JAX. Para torch.compile se usa Torch Dynamo, y el rendimiento debe acercarse al de la compilación en JAX. Las técnicas distribuidas DDP, FSDP y DTensor se soportan en el nivel más bajo de PyTorch. Las operaciones colectivas (el intercambio de datos entre chips) se reducen a operaciones StableHLO, en lugar de depender de una biblioteca aparte como NCCL. Los errores del runtime y del compilador deben mostrarse con mensajes comprensibles.
En la práctica, la migración consiste en escribir torch.device("tpu") en lugar de torch.device("cuda"), y el backend tpu_dist en lugar de nccl. También puede no atarse a ningún hardware concreto y usar torch.accelerator.current_accelerator(). Si en la máquina está instalado el paquete TorchTPU, PyTorch lo cargará automáticamente mediante el mecanismo de autoload.
Los autores advierten con franqueza: con este cambio no se alcanza la velocidad máxima. Las formas de los tensores, el sharding y el conjunto de operaciones de un modelo pueden estar optimizados para GPU, pero el modelo debe arrancar de inmediato.
Qué está ya verificado
Se declara soporte para unas 450 operaciones Aten, incluidos el paso hacia delante y el hacia atrás de todas las operaciones básicas que necesitan las arquitecturas principales. Hay modos eager y compiled, incluido el nuevo DeferAndFuse. Los kernels propios pueden escribirse con JAX/Pallas y el DSL Helion. Se ha verificado la compatibilidad con Transformers v5, Diffusers y Kernels. Entre los modelos que funcionan desde el primer momento están Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, BERT y T5. Se han confirmado el sharding con DTensor, la inferencia multi-host en vLLM y SGLang, el entrenamiento en TorchTitan y la orquestación con Ray.
La precisión también se describe por separado. El formato principal para las multiplicaciones de matrices en TPU es bfloat16 (un número de 16 bits) con acumulación del resultado en formato de 32 bits. TorchTPU lo activa por defecto, y para la gran mayoría de tareas la precisión es suficiente. Existen modos de mayor precisión, pero su coste es velocidad: aproximadamente tres veces más caros en cálculo para high y unas seis veces para highest. Conviene activarlos solo si detecta problemas de convergencia en el entrenamiento.
Limitaciones
Un dispositivo TPU solo puede ser usado por un proceso de usuario a la vez. Por eso TorchTPU aplica un esquema de «un proceso por dispositivo», a diferencia de JAX, donde hay un proceso por host. Como consecuencia, la colocación conjunta de tareas de aprendizaje por refuerzo (RL) todavía no funciona de forma nativa, y el equipo busca una solución alternativa.
La segunda limitación es que el compilador XLA espera que los tamaños de los tensores se conozcan de antemano. Esto resulta incómodo para PyTorch, así que se añade una «dinámica acotada»: los tamaños máximos se conocen en la compilación y los exactos se determinan durante la ejecución. Así se evitan recompilaciones innecesarias al cambiar la forma.
Qué hacer en la práctica: si está eligiendo entre GPU y TPU por el coste de inferencia o de entrenamiento, el experimento ahora sale más barato. Ejecute su modelo en TPU casi sin cambios y compruebe dónde se atasca por las formas de los tensores y el sharding. Ahí estará el grueso del trabajo de optimización.
- 21 nov 2026La red neuronal MIRA dibuja Rocket League a 20 fps, pero el ping llega a 460 ms
- 21 nov 2026Google creó una copia cerrada de internet con bancos falsos para entrenar a los agentes de IA de Chrome
- 21 nov 2026En la prueba MLPerf participan por primera vez Nvidia Rubin y TPU Ironwood: 153 sistemas
- 21 nov 2026Google abre la preventa de sus gafas inteligentes con Gemini desde 395 $: las ventas empiezan el 10 de diciembre
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué no prosperó el intento anterior?
La primera versión de PyTorch para TPU, PyTorch/XLA, salió en 2020. Según la descripción de sus autores, tenía cuatro problemas. El desarrollador tenía que intervenir en el código fuente y marcar a mano las partes que debían compilarse. La compilación retrasaba mucho el arranque. El modo eager, en el que cada operación se ejecuta de inmediato, no estaba soportado. Y las nuevas técnicas de computación distribuida de PyTorch llegaban allí con retraso. Imagine que tiene un script de entrenamiento que funciona en GPU.
¿Qué se sabe sobre Qué cambió en el enfoque?
Los autores se fijaron de antemano un conjunto de principios. El runtime no depende de JAX. Para torch.compile se usa Torch Dynamo, y el rendimiento debe acercarse al de la compilación en JAX. Las técnicas distribuidas DDP, FSDP y DTensor se soportan en el nivel más bajo de PyTorch. Las operaciones colectivas (el intercambio de datos entre chips) se reducen a operaciones StableHLO, en lugar de depender de una biblioteca aparte como NCCL.
¿Qué se sabe sobre Qué está ya verificado?
Se declara soporte para unas 450 operaciones Aten, incluidos el paso hacia delante y el hacia atrás de todas las operaciones básicas que necesitan las arquitecturas principales. Hay modos eager y compiled, incluido el nuevo DeferAndFuse. Los kernels propios pueden escribirse con JAX/Pallas y el DSL Helion. Se ha verificado la compatibilidad con Transformers v5, Diffusers y Kernels. Entre los modelos que funcionan desde el primer momento están Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, BERT y T5.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.