ExecuTorch lleva PyTorch a la GPU del navegador: generación de texto entre 2 y 10 veces más rápida

Si tu equipo entrena modelos en PyTorch, ejecutarlos en el navegador suele añadir otra tarea de ingeniería: pasarlos a un formato adecuado y comprobar que todo siga funcionando después de la conversión. El nuevo backend WebGPU de ExecuTorch acorta ese proceso. El modelo se exporta a un archivo .pte y los cálculos se ejecutan en la GPU del dispositivo del usuario. En la prueba publicada, la generación de texto fue entre 2 y 10 veces más rápida que en la versión para CPU. Para los desarrolladores, es una oportunidad para comprobar qué parte del procesamiento pueden trasladar del servidor a una pestaña del navegador.

Qué cambia para el equipo

Imagina una aplicación web en la que el usuario sube la fotografía de un producto y elimina el fondo. Con el procesamiento en servidores, hay que recibir la imagen, poner la tarea en una cola, ejecutar el modelo y devolver el resultado. La alternativa local permite otro flujo: el navegador descarga el modelo y después procesa la foto en el dispositivo del usuario. Se trata de un ejemplo de uso de la tecnología, no de una medición de un servicio comercial existente.

La diferencia para el equipo es concreta. Si el dispositivo del cliente puede realizar el procesamiento, no habrá que pagar una ejecución del modelo en el servidor por cada fotografía. Sin embargo, surgirán otros costes: distribuir los pesos del modelo, dar soporte a distintos dispositivos y diagnosticar errores en el navegador. El ahorro debe calcularse a partir del tráfico propio, no darse por hecho por la mera disponibilidad de WebGPU.

Internamente, el backend combina WebAssembly y WebGPU. El primero permite que el entorno de ejecución funcione en el navegador; el segundo da acceso a los cálculos en la GPU. La exportación se mantiene dentro de las herramientas de PyTorch: no hace falta adoptar el formato de otro framework. Sigue siendo una etapa independiente de preparación del modelo, no una forma de insertar cualquier código Python en una página web. La arquitectura y los resultados de las pruebas se describen en la publicación del equipo de PyTorch.

De dónde sale la aceleración de entre 2 y 10 veces

El equipo comparó WebGPU con el backend de CPU del propio ExecuTorch, que utiliza WebAssembly y XNNPACK. Las mediciones se realizaron en Chrome sobre un Apple M1 Pro con los modelos cuantizados Llama 3.2 1B y Qwen3-0.6B. El procesamiento del contexto de entrada fue entre 4 y 7 veces más rápido, y la generación secuencial de tokens, entre 2 y 10 veces más rápida. Estas cifras corresponden a esa comparación concreta, no a todas las formas de ejecutar modelos en el navegador.

Para los equipos de producto, es importante distinguir dos tiempos de espera. Primero, la aplicación debe descargar el modelo y prepararlo para su ejecución. Después, el usuario espera la respuesta a su solicitud. Acelerar los cálculos resulta útil, pero no basta para saber cuánto tiempo pasará una persona mirando la pantalla al abrir la aplicación por primera vez. Es una métrica distinta que conviene medir en el prototipo.

Por eso, es mejor plantear la prueba práctica en torno a una acción del usuario: abrir la página con una conexión habitual, subir un archivo real, obtener el resultado y repetir la operación. Compara la primera ejecución con las siguientes, comprueba la memoria disponible y observa el comportamiento en un portátil poco potente. Una respuesta rápida en el ordenador del desarrollador todavía no indica qué experiencia tendrá el conjunto de los usuarios.

Qué probar y cuáles son los límites

Puedes empezar por el Playground oficial. Incluye chat local, reconocimiento de voz, segmentación de objetos y estimación de profundidad a partir de imágenes de la cámara. La plataforma está marcada como experimental; resulta útil para probar el flujo de uso en tus propios dispositivos antes de preparar una exportación propia.

En una aplicación que trabaje con fotografías o voz, el procesamiento local también cambia el recorrido de los datos: no es necesario enviar las entradas al servidor para realizar la inferencia. Pero esto depende de la implementación concreta. Si añades el envío de archivos originales a un sistema de analítica o una alternativa de procesamiento en la nube, tendrás que revisar la promesa que haces al usuario. La arquitectura de procesamiento y las solicitudes de red reales deben comprobarse conjuntamente.

El backend aún se encuentra en una fase temprana de desarrollo. Por eso, el siguiente paso razonable es elegir una función acotada, definir los dispositivos compatibles y compararla con la solución actual. Por ejemplo, probar la eliminación de fondos con fotografías habituales de los clientes. La decisión de implementarlo debería basarse en el tiempo hasta obtener el resultado, la calidad del procesamiento y el coste de soporte. La nueva vía de PyTorch al navegador facilita ese experimento, pero cada equipo debe medir sus resultados.