Il a fait tourner Qwen sur un FPGA à 50 $ : comment fonctionne son accélérateur IA fait maison

Je voulais développer mon propre processeur IA, et j'ai découvert openTPU, un accélérateur open source conçu par Felipe Sens Bonetto avec l'aide d'agents IA. La question était simple : peut-on vraiment récupérer un projet sur GitHub, le charger sur un FPGA physique et faire tourner une véritable inférence de grands modèles de langage ?

J'ai acheté sur AliExpress un Xilinx Kintex-7 XC7K480T doté de 4 Go de RAM. Je l'ai connecté en PCIe à un mini-PC MINISFORUM, compilé le firmware dans Vivado, configuré les pilotes et le DMA PCIe, préparé le logiciel, puis chargé les poids réels des réseaux de neurones. L'inférence a démarré.

Ce que j'ai obtenu

Tous les systèmes ont passé les tests. Le DMA PCIe transfère les données avec succès. Le sous-système mémoire fonctionne intégralement. Les tests d'instructions du processeur réussissent à 100 %. Le FPGA est correctement détecté par le système. Le modèle de langage exécute l'inférence directement sur le FPGA.

Selon mes mesures, sur la même carte, ces modèles atteignent les vitesses suivantes :

• Qwen3-0.6B — 31 tokens par seconde • Qwen3.5–2B — 12 tokens par seconde • LFM2.5–230M — 86 tokens par seconde • Qwen3.5–35B — 4 tokens par seconde (35 milliards de paramètres pour seulement 4 Go de mémoire)

Ce dernier résultat est particulièrement intéressant : un modèle de cette taille a pu tourner sur une carte disposant d'un minimum de mémoire. Cela dit, l'architecture FPGA n'est pas nouvelle, loin de là.

Pourquoi c'est bien plus qu'un simple réseau de neurones de plus

On perçoit généralement le GPU comme une plateforme prête à l'emploi : on achète une carte graphique, on installe CUDA, et on lance le modèle. Mais l'idée derrière openTPU est inverse : il ne s'agit pas d'adapter le matériel au réseau de neurones, mais de concevoir son propre matériel spécialisé pour des calculs précis.

C'est exactement le principe des TPU, ces processeurs optimisés pour les opérations de machine learning. Autrefois, seuls Google et NVIDIA pouvaient s'attaquer à ce défi, et cela demandait des années de développement. Aujourd'hui, un seul ingénieur peut assembler et tester un prototype en un week-end. La carte actuelle n'est pas une concurrente du H100. Il s'agit d'un prototype fonctionnel, pas d'un ASIC produit en série. Mais il devient désormais possible d'expérimenter sa propre architecture de processeur IA, non plus en théorie, mais sur du matériel réel.

Et maintenant

Je réfléchis à une mémoire plus rapide et à un FPGA plus puissant pour évaluer l'architecture de ma propre puce d'inférence. Une tendance intéressante se dessine : nous utilisons déjà l'IA pour écrire des programmes, et maintenant l'IA conçoit les processeurs sur lesquels elle fonctionnera elle-même.

Merci à Felipe Sens Bonetto pour openTPU. Suite dans la partie 2, où je présenterai les résultats du banc d'essai : 8 réseaux de neurones, 165 exécutions, de vrais tokens par seconde, et une analyse des limites imposées par la DDR3.