Rodei o Qwen em uma FPGA de $50: como funciona um acelerador de IA caseiro

Eu queria desenvolver meu próprio processador de IA e encontrei o openTPU, um acelerador aberto criado por Felipe Sens Bonetto com participação de agentes de IA. A pergunta era simples: é realmente possível pegar um projeto do GitHub, carregá-lo em uma FPGA física e rodar inferência real de modelos de linguagem grandes?

Comprei na AliExpress uma Xilinx Kintex-7 XC7K480T com 4 GB de RAM. Conectei via PCIe a um mini PC MINISFORUM, compilei o firmware no Vivado, configurei os drivers e o PCIe DMA, preparei o software e carreguei pesos reais de redes neurais. A inferência começou a rodar.

O que funcionou

Todos os sistemas passaram pelos testes. O PCIe DMA transfere dados com sucesso. O subsistema de memória funciona por completo. Os testes de instruções do processador passam 100%. A FPGA é reconhecida corretamente pelo sistema. O modelo de linguagem executa inferência na FPGA.

Segundo as medições na mesma placa, esses modelos rodam nestas velocidades:

• Qwen3-0.6B — 31 tokens por segundo • Qwen3.5-2B — 12 tokens por segundo • LFM2.5-230M — 86 tokens por segundo • Qwen3.5-35B — 4 tokens por segundo (35 bilhões de parâmetros com 4 GB de memória)

Esse último resultado é especialmente interessante: foi possível rodar um modelo grande em uma placa com memória mínima. A FPGA em si não é uma arquitetura nova, já existe há anos.

Por que isso é mais do que apenas mais uma rede neural

Geralmente pensamos na GPU como uma plataforma pronta: compra-se a placa de vídeo, instala-se o CUDA e roda-se o modelo. Mas a ideia do openTPU é o oposto: não escolher o hardware de acordo com a rede neural, e sim criar hardware próprio e especializado para cálculos específicos.

É exatamente para isso que os TPUs são projetados: processadores otimizados para operações de machine learning. Antes essa era uma tarefa exclusiva do Google e da NVIDIA, exigindo anos de desenvolvimento. Agora um único engenheiro pode montar e testar um prototipo em um fim de semana. A placa atual não é concorrente da H100. Um prototipo funcional não é um ASIC de produção em série. Mas agora é possível experimentar com a própria arquitetura de processador de IA não apenas na teoria, mas em hardware real.

O que vem a seguir

Estou pensando em memória mais rápida e em uma FPGA mais potente para avaliar a arquitetura do meu próprio chip de inferência. Surge uma tendência interessante: já usamos IA para escrever programas, e agora a IA projeta os processadores nos quais ela mesma vai rodar.

Agradecimentos a Felipe Sens Bonetto pelo openTPU. Continua na parte 2, onde vou mostrar os resultados da bancada de testes: 8 redes neurais, 165 execuções, tokens por segundo reais e uma análise de onde a DDR3 se torna o gargalo.