Google и Meta научили PyTorch работать на TPU: из коробки идут 5000 моделей Hugging Face
Google и Meta выпустили открытый TorchTPU: он запускает обычный код PyTorch на ИИ-чипах Google (TPU), а не только на видеокартах. Раньше для этого нужен был JAX или старый PyTorch/XLA с правкой кода и долгой компиляцией. Теперь в простом случае достаточно сменить устройство cuda на tpu, и 5000 самых скачиваемых моделей Hugging Face идут из коробки. Пробный перенос с GPU на TPU стал заметно дешевле.
AI-обработка оригинала PyTorch Blog; редакция Hamidun News
Большинство ИИ-команд пишет модели на PyTorch и запускает их на видеокартах, чаще всего Nvidia. У Google есть собственные ИИ-чипы, тензорные процессоры TPU, которые экономичнее по энергии и стоимости, но привычный код на них просто так не работал: нужен был JAX или TensorFlow. Теперь Google вместе с командой PyTorch в Meta выпустила TorchTPU — открытый бэкенд, то есть слой, который переводит команды PyTorch на язык TPU. Проект стартовал в середине 2025 года. По словам авторов, он уже работает в продакшене у части крупнейших клиентов Google Cloud и для инференса (ответов готовой модели), и для обучения. Из коробки запускаются 5000 самых скачиваемых моделей с Hugging Face — крупнейшего каталога готовых нейросетей.
Почему прошлая попытка не прижилась
Первая версия PyTorch для TPU, PyTorch/XLA, вышла в 2020 году. По описанию авторов, у неё было четыре проблемы. Разработчику приходилось вмешиваться в исходный код и вручную размечать участки, которые нужно компилировать. Компиляция сильно задерживала запуск. Привычный режим eager, где каждая операция выполняется сразу, не поддерживался. А новые приёмы распределённых вычислений в самом PyTorch появлялись там с задержкой.
Представьте, что у вас есть работающий скрипт обучения на GPU. В старой схеме его пришлось бы переписывать под особенности TPU. TorchTPU строили наоборот: eager-режим в приоритете, а существующие программы должны запускаться при минимальных правках.
Что изменилось в подходе
Авторы заранее задали себе набор принципов. В рантайме нет зависимости от JAX. Для torch.compile используется Torch Dynamo, а производительность должна быть близка к компиляции в JAX. Распределённые приёмы DDP, FSDP и DTensor поддерживаются на самом низком уровне PyTorch. Коллективные операции (обмен данными между чипами) сводятся к операциям StableHLO, а не к отдельной библиотеке вроде NCCL. Ошибки рантайма и компилятора должны выдаваться понятными сообщениями.
На практике перенос выглядит так: вместо torch.device("cuda") пишется torch.device("tpu"), а вместо бэкенда nccl — tpu_dist. Можно и вовсе не привязываться к железу и взять torch.accelerator.current_accelerator(). Если на машине установлен пакет TorchTPU, PyTorch подхватит его через механизм autoload.
Авторы честно предупреждают: пиковой скорости такой заменой не добиться. Формы тензоров, шардинг и набор операций в модели могут быть заточены под GPU, но запускаться она должна сразу.
Что уже проверено
Заявлена поддержка около 450 операций Aten, включая прямой и обратный проход для всех базовых операций, нужных основным архитектурам. Есть режимы eager и compiled, в том числе новый DeferAndFuse. Свои ядра можно писать через JAX/Pallas и Helion DSL. Проверена совместимость с Transformers v5, Diffusers и Kernels. Среди моделей, которые запускаются из коробки: Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, BERT и T5. Подтверждены шардинг на DTensor, многохостовый инференс в vLLM и SGLang, обучение в TorchTitan и оркестрация через Ray.
Отдельно описана точность. Основной формат матричных умножений на TPU — bfloat16 (16-битное число) с накоплением результата в 32-битном формате. TorchTPU включает его по умолчанию, и для подавляющего большинства задач точности хватает. Режимы повышенной точности возможны, но платить за них придётся скоростью: примерно втрое дороже по вычислениям для high и примерно вшестеро для highest. Их стоит включать, только если вы нашли проблемы со сходимостью обучения.
Ограничения
У TPU к одному устройству может обращаться только один пользовательский процесс. Поэтому в TorchTPU действует схема «один процесс на устройство», в отличие от JAX, где один процесс приходится на хост. Из-за этого совместное размещение задач для обучения с подкреплением (RL) пока не работает из коробки, и команда ищет обходной путь.
Второе ограничение: компилятор XLA ждёт, что размеры тензоров известны заранее. Для PyTorch это неудобно, поэтому добавляют «ограниченную динамику». Максимальные размеры известны на этапе компиляции, а точные определяются во время работы. Так можно избежать лишних перекомпиляций при смене формы.
Что делать на практике: если вы выбираете между GPU и TPU по цене инференса или обучения, эксперимент теперь стоит дешевле. Запустите свою модель на TPU почти без правок и посмотрите, где она упирается в формы тензоров и шардинг. Именно там будет основная работа по оптимизации.
- 21 нояб. 2026 г.Стартап Osmo обучил ИИ запахам на 10 млн оценок людей и генерирует ароматы по тексту
- 21 нояб. 2026 г.КНДР показала первый чатбот «Источник мудрости»: только наука, без политики
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
- 21 нояб. 2026 г.Google научила Gemini делать GIF: 3 секунды, только 16:9 или 9:16, без петли
Вопросы и ответы по материалу
Что известно по теме: почему прошлая попытка не прижилась?
Первая версия PyTorch для TPU, PyTorch/XLA, вышла в 2020 году. По описанию авторов, у неё было четыре проблемы. Разработчику приходилось вмешиваться в исходный код и вручную размечать участки, которые нужно компилировать. Компиляция сильно задерживала запуск. Привычный режим eager, где каждая операция выполняется сразу, не поддерживался. А новые приёмы распределённых вычислений в самом PyTorch появлялись там с задержкой. Представьте, что у вас есть работающий скрипт обучения на GPU.
Что известно по теме: что изменилось в подходе?
Авторы заранее задали себе набор принципов. В рантайме нет зависимости от JAX. Для torch.compile используется Torch Dynamo, а производительность должна быть близка к компиляции в JAX. Распределённые приёмы DDP, FSDP и DTensor поддерживаются на самом низком уровне PyTorch. Коллективные операции (обмен данными между чипами) сводятся к операциям StableHLO, а не к отдельной библиотеке вроде NCCL. Ошибки рантайма и компилятора должны выдаваться понятными сообщениями.
Что известно по теме: что уже проверено?
Заявлена поддержка около 450 операций Aten, включая прямой и обратный проход для всех базовых операций, нужных основным архитектурам. Есть режимы eager и compiled, в том числе новый DeferAndFuse. Свои ядра можно писать через JAX/Pallas и Helion DSL. Проверена совместимость с Transformers v5, Diffusers и Kernels. Среди моделей, которые запускаются из коробки: Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, BERT и T5.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.