ExecuTorch leva PyTorch à GPU do navegador: geração de texto de 2 a 10 vezes mais rápida

Se a sua equipe treina modelos em PyTorch, executá-los no navegador costuma trazer mais uma tarefa de engenharia: convertê-los para um formato adequado e verificar se tudo continua funcionando depois da conversão. O novo backend WebGPU do ExecuTorch encurta esse caminho. O modelo é exportado para um arquivo .pte, e os cálculos são executados na GPU do dispositivo do usuário. No teste publicado, a geração de texto foi de 2 a 10 vezes mais rápida do que na versão para CPU. Para os desenvolvedores, é uma oportunidade de avaliar quanto do processamento pode sair do servidor e ir para uma aba do navegador.

O que muda para a equipe

Imagine uma aplicação web em que o usuário envia a foto de um produto e remove o fundo. Com o processamento no servidor, é preciso receber a imagem, colocar a tarefa em uma fila, executar o modelo e devolver o resultado. A alternativa local permite outro fluxo: o navegador baixa o modelo e depois processa a foto no dispositivo do usuário. Esse é um exemplo de aplicação da tecnologia, não uma medição de um serviço comercial existente.

A diferença para a equipe é concreta. Se o dispositivo do cliente consegue realizar o processamento, não será necessário pagar por uma execução do modelo no servidor para cada foto. No entanto, surgem outros custos: distribuição dos pesos do modelo, suporte a diferentes dispositivos e diagnóstico de erros no navegador. A economia precisa ser calculada com base no tráfego da própria aplicação, e não presumida apenas porque o WebGPU está disponível.

Por dentro, o backend combina WebAssembly e WebGPU. O primeiro permite que o ambiente de execução funcione no navegador; o segundo dá acesso aos cálculos na GPU. A exportação permanece dentro das ferramentas do PyTorch: não é necessário adotar o formato de outro framework. Isso ainda exige uma etapa separada de preparação do modelo, e não permite simplesmente inserir qualquer código Python em uma página web. A arquitetura e os resultados dos testes estão descritos na publicação da equipe do PyTorch.

De onde vem a aceleração de 2 a 10 vezes

A equipe comparou o WebGPU com o backend de CPU do próprio ExecuTorch, que usa WebAssembly e XNNPACK. As medições foram feitas no Chrome em um Apple M1 Pro, com os modelos quantizados Llama 3.2 1B e Qwen3-0.6B. O processamento do contexto de entrada foi de 4 a 7 vezes mais rápido, enquanto a geração sequencial de tokens foi de 2 a 10 vezes mais rápida. Esses números se referem a essa comparação específica, não a todas as formas de executar modelos no navegador.

Para as equipes de produto, é importante separar dois tempos de espera. Primeiro, a aplicação precisa baixar o modelo e prepará-lo para execução. Depois, o usuário espera a resposta à sua solicitação. Acelerar os cálculos é útil, mas isso, por si só, não revela quanto tempo uma pessoa ficará olhando para a tela ao abrir a aplicação pela primeira vez. Essa é uma métrica separada, que vale a pena medir no protótipo.

Por isso, o teste prático deve se concentrar em uma ação do usuário: abrir a página em uma conexão comum, enviar um arquivo real, obter o resultado e repetir a operação. Compare a primeira execução com as seguintes, verifique a memória disponível e observe o comportamento em um notebook pouco potente. Uma resposta rápida na máquina do desenvolvedor ainda não mostra como será a experiência de todo o público.

O que experimentar e quais são os limites

Você pode começar pelo Playground oficial. Ele oferece chat local, reconhecimento de fala, segmentação de objetos e estimativa de profundidade a partir de imagens da câmera. A plataforma está identificada como experimental; é uma maneira prática de testar o fluxo de uso nos seus dispositivos antes de preparar a própria exportação.

Em aplicações que trabalham com fotos ou voz, o processamento local também altera o caminho dos dados: as entradas não precisam ser enviadas ao servidor para a inferência. Mas isso depende da implementação específica. Se você adicionar o envio dos arquivos originais para ferramentas de análise ou uma alternativa de processamento na nuvem, precisará rever a promessa feita ao usuário. A arquitetura de processamento e as requisições de rede reais devem ser verificadas em conjunto.

O backend ainda está em um estágio inicial de desenvolvimento. Por isso, um próximo passo sensato é escolher uma função de escopo limitado, definir os dispositivos compatíveis e compará-la com a solução atual. Por exemplo, testar a remoção de fundo em fotos típicas dos clientes. A decisão de adotar a tecnologia deve considerar o tempo até o resultado, a qualidade do processamento e o custo de suporte. O novo caminho do PyTorch ao navegador facilita esse experimento, mas a própria equipe precisa medir os resultados.