ExecuTorch запускает PyTorch в браузере на GPU: генерация текста быстрее в 2–10 раз

Если ваша команда обучает модель в PyTorch, запуск в браузере обычно означает ещё одну инженерную задачу: перенести её в подходящий формат и проверить, что после переноса всё работает. Новый WebGPU-бэкенд ExecuTorch сокращает этот путь. Модель экспортируется в файл .pte, а вычисления выполняются на GPU устройства пользователя. В опубликованном тесте генерация текста оказалась быстрее CPU-варианта в 2–10 раз. Для разработчика это повод проверить, какую часть обработки можно перенести с сервера во вкладку.

Что меняется для команды

Представьте веб-приложение, в котором пользователь загружает фотографию товара и удаляет фон. При серверной обработке нужно принять изображение, поставить задачу в очередь, выполнить модель и вернуть результат. Локальный вариант позволяет построить другой сценарий: браузер скачивает модель, а затем обрабатывает снимок на устройстве пользователя. Это пример применения технологии, а не замер готового коммерческого сервиса.

Разница для команды вполне предметная. Если обработка подходит для клиентского устройства, не придётся оплачивать серверный запуск для каждой фотографии. Однако появятся другие расходы: доставка весов, поддержка разных устройств и разбор ошибок в браузере. Экономию здесь нужно считать по собственному трафику, а не выводить из самого факта появления WebGPU.

Внутри используется связка WebAssembly и WebGPU. Первая обеспечивает работу среды исполнения в браузере, вторая даёт доступ к вычислениям на видеокарте. Экспорт остаётся внутри инструментов PyTorch: переходить в формат другого фреймворка не требуется. Это всё ещё отдельный этап подготовки модели, а не возможность вставить произвольный Python-код в веб-страницу. Устройство и результаты тестирования описаны в публикации команды PyTorch.

Откуда взялись 2–10 раз

Команда сравнила WebGPU с собственным CPU-бэкендом ExecuTorch, который использует WebAssembly и XNNPACK. Измерения проводили в Chrome на Apple M1 Pro с квантованными Llama 3.2 1B и Qwen3-0.6B. Обработка входного контекста ускорилась в 4–7 раз, а последовательная генерация токенов — в 2–10 раз. Эти цифры относятся к конкретному сравнению, а не ко всем способам запуска моделей в браузере.

Для продакта здесь важно разделить две задержки. Сначала приложение должно получить модель и подготовить её к работе. Затем пользователь ждёт ответ на свой запрос. Ускорение вычислений полезно, но само по себе не отвечает на вопрос, сколько человек будет смотреть на экран при первом открытии приложения. Это отдельный показатель, который стоит измерять в прототипе.

Практический тест поэтому лучше строить вокруг пользовательского действия: открыть страницу по обычной сети, загрузить реальный файл, получить результат, повторить операцию. Сравните первый запуск и последующие, проверьте доступную память и поведение на слабом ноутбуке. Быстрый ответ на машине разработчика ещё не показывает, какой опыт получит вся аудитория.

Что попробовать и где границы

Начать можно с официального Playground. На нём представлены локальный чат, распознавание речи, выделение объектов и оценка глубины по изображению камеры. Площадка помечена как экспериментальная; её удобно использовать, чтобы проверить сам сценарий на своих устройствах, прежде чем готовить собственный экспорт.

Для приложения с фотографиями или голосом локальная обработка также меняет путь данных: ввод не требуется отправлять серверу ради инференса. Но это свойство конкретной реализации. Если добавить загрузку исходников в аналитику или облачный резервный сценарий, обещание пользователю придётся пересмотреть. Архитектуру обработки и фактические сетевые запросы нужно проверять вместе.

Сам бэкенд пока находится на ранней стадии развития. Поэтому разумный следующий шаг — взять одну ограниченную функцию, определить поддерживаемые устройства и сравнить её с текущим решением. Например, проверить удаление фона на типичных фотографиях клиентов. Решение о внедрении стоит принимать по времени до результата, качеству обработки и стоимости поддержки. Новый путь из PyTorch в браузер делает такой эксперимент проще, но его результат команда должна измерить сама.