Hice correr Qwen en una FPGA de $50: así funciona un acelerador de IA casero

Quería desarrollar mi propio procesador de IA y encontré openTPU, un acelerador abierto creado por Felipe Sens Bonetto con participación de agentes de IA. La pregunta era simple: ¿se puede realmente tomar un proyecto de GitHub, cargarlo en una FPGA física y ejecutar inferencia real de modelos de lenguaje grandes?

Compré en AliExpress una Xilinx Kintex-7 XC7K480T con 4 GB de RAM. La conecté por PCIe a un mini PC MINISFORUM, compilé el firmware en Vivado, configuré los drivers y el PCIe DMA, preparé el software y cargué pesos reales de redes neuronales. La inferencia se puso en marcha.

Lo que funcionó

Todos los sistemas pasaron las pruebas. El PCIe DMA transfiere datos correctamente. El subsistema de memoria funciona por completo. Las pruebas de instrucciones del procesador pasan al 100%. El sistema reconoce la FPGA correctamente. El modelo de lenguaje ejecuta inferencia sobre la FPGA.

Según las mediciones en la misma placa, estos modelos funcionan a estas velocidades:

• Qwen3-0.6B — 31 tokens por segundo • Qwen3.5-2B — 12 tokens por segundo • LFM2.5-230M — 86 tokens por segundo • Qwen3.5-35B — 4 tokens por segundo (35.000 millones de parámetros con 4 GB de memoria)

Este último resultado es especialmente interesante: se logró ejecutar un modelo grande en una tarjeta con memoria mínima. La FPGA en sí no es una arquitectura nueva, lleva años en el mercado.

Por qué esto es más que otra red neuronal

Normalmente pensamos en la GPU como una plataforma lista: compras la tarjeta gráfica, instalas CUDA y ejecutas el modelo. Pero la idea de openTPU va en sentido contrario: no elegir el hardware según la red neuronal, sino crear hardware propio y especializado para cálculos concretos.

Para eso se diseñan precisamente los TPU: procesadores optimizados para operaciones de machine learning. Antes esto era tarea exclusiva de Google y NVIDIA, y requería años de desarrollo. Ahora un solo ingeniero puede armar y probar un prototipo en un fin de semana. La placa actual no compite con una H100. Un prototipo funcional no es un ASIC de producción en serie. Pero ahora se puede experimentar con una arquitectura propia de procesador de IA no en la teoría, sino sobre hardware real.

Qué sigue

Estoy pensando en memoria más rápida y una FPGA más potente para evaluar la arquitectura de mi propio chip de inferencia. Surge una tendencia interesante: ya usamos IA para escribir programas, y ahora la IA diseña los procesadores en los que ella misma funcionará.

Gracias a Felipe Sens Bonetto por openTPU. Continúa en la parte 2, donde mostraré los resultados del banco de pruebas: 8 redes neuronales, 165 ejecuciones, tokens por segundo reales y un análisis de dónde se atasca la DDR3.