Un entusiasta ejecuta Qwen en una FPGA de 50 $ con 4 GB de memoria basada en openTPU

Un ingeniero aficionado ha publicado en Habr la primera parte de la historia de un acelerador de IA casero. Tomó el proyecto abierto openTPU, compró una placa con FPGA de 50 $ y 4 GB de memoria, la conectó a un miniPC corriente y ejecutó en ella un modelo de lenguaje de la familia Qwen. El anuncio no incluye mediciones de velocidad: ni tokens por segundo, ni tamaño del modelo, ni precisión de los pesos. Aun así, la propia configuración muestra hasta qué punto ha bajado la barrera de entrada para experimentar con IA en hardware.

Qué se sabe de la primera parte

Según el texto publicado, el panorama es este:

• Acelerador: FPGA de unos 50 $.
• Memoria: 4 GB.
• Host: un miniPC corriente, sin hardware de servidor.
• Arquitectura: openTPU, implementación abierta de las ideas de la unidad de procesamiento tensorial.
• Modelo: Qwen, la familia de modelos de lenguaje de Alibaba.
• Formato: primera parte de una serie; la continuación está por llegar.

No se ha revelado qué versión concreta de Qwen se ejecuta, cómo está cuantizada ni qué interfaz conecta la placa con el PC. De esos tres parámetros depende casi todo, así que es pronto para valorar el resultado antes de que salga la segunda parte.

Por qué el enfoque TPU encaja con las FPGA

La primera TPU de Google, descrita en una publicación de 2017, se construía en torno a una matriz sistólica: 256×256 multiplicadores-acumuladores de ocho bits, es decir, 65 536 unidades por las que los datos pasan en forma de onda. Esta estructura es regular, encaja bien en la lógica programable y no requiere un control complejo. Sobre ella se puede montar un multiplicador de matrices, y la multiplicación de matrices es la base del funcionamiento de los transformers.

En este esquema, la FPGA hace de placa de pruebas para un chip. Se puede reescribir el diseño y cambiar el tamaño de la matriz, la precisión y el esquema de acceso a la memoria sin encargar silicio. Por 50 $, es un argumento de peso para el aprendizaje y el prototipado.

La limitación principal: la memoria

La generación de texto no se ve limitada por el cálculo, sino por el ancho de banda de la memoria. Por cada token hay que leer casi todos los pesos del modelo. Una placa FPGA barata con un solo módulo de memoria ofrecerá un bus modesto, y será ese bus, y no el número de multiplicadores de la matriz, el que determine la velocidad.

Los 4 GB fijan el techo del tamaño del modelo. Según nuestra estimación, con cuantización de 4 bits un modelo de varios miles de millones de parámetros ocupa en torno a 2 GB, y queda margen para la caché de contexto. Por eso es razonable esperar una versión pequeña de Qwen con compresión agresiva. Los modelos de decenas de miles de millones de parámetros no caben en una placa así.

Qué mirar en la segunda parte

El proyecto es útil para ingenieros que quieran entender cómo funciona un acelerador por dentro y para estudiantes de arquitectura de chips de IA. No sustituirá a una tarjeta gráfica, y el autor, a juzgar por el título, tampoco lo promete.

Cuando salga la continuación, conviene comprobar cuatro cosas:

• la velocidad de generación en tokens por segundo con un modelo concreto;
• el esquema de cuantización y la pérdida de calidad;
• el ancho de banda de la memoria y el canal de comunicación con el host;
• la disponibilidad de código abierto y de instrucciones para reproducirlo por los mismos 50 $.

Si el repositorio resulta ser abierto y el montaje reproducible, la nota puede convertirse en un buen banco de pruebas didáctico para quienes quieran probar la IA en hardware sin presupuesto para GPU.