Un passionné fait tourner Qwen sur un FPGA à $50 avec 4 Go de mémoire, grâce à openTPU

Un ingénieur passionné a publié sur Habr la première partie du récit de son accélérateur d'IA fait maison. Il a pris le projet ouvert openTPU, acheté une carte FPGA à $50 dotée de 4 Go de mémoire, l'a branchée à un mini-PC ordinaire et y a fait tourner un modèle de langage de la famille Qwen. L'annonce ne contient aucune mesure de vitesse : ni tokens par seconde, ni taille du modèle, ni précision des poids. Mais la configuration montre déjà à quel point le ticket d'entrée pour expérimenter avec du matériel d'IA a baissé.

Ce que l'on sait de la première partie

D'après le texte publié, le tableau est le suivant :

• Accélérateur : un FPGA à environ $50.
• Mémoire : 4 Go.
• Hôte : un mini-PC ordinaire, sans aucun matériel de serveur.
• Architecture : openTPU, implémentation ouverte des idées du processeur tensoriel.
• Modèle : Qwen, la famille de modèles de langage d'Alibaba.
• Format : première partie d'une série, la suite est à venir.

L'auteur ne précise pas quelle version de Qwen tourne, comment elle est quantifiée, ni quelle interface relie la carte au PC. Presque tout dépend de ces trois paramètres : il est donc trop tôt pour juger le résultat avant la sortie de la deuxième partie.

Pourquoi l'approche TPU convient aux FPGA

Le premier TPU de Google, décrit dans une publication de 2017, reposait sur un réseau systolique : 256×256 multiplieurs-accumulateurs 8 bits, soit 65 536 unités que les données traversent en vague. Cette structure est régulière, s'adapte bien à la logique programmable et n'exige pas de contrôle complexe. On peut s'en servir pour construire un multiplicateur de matrices, or la multiplication matricielle est au cœur du fonctionnement des transformeurs.

Dans ce schéma, le FPGA joue le rôle de plateforme de prototypage pour la puce. On peut réécrire le design, changer la taille du réseau, la précision des calculs et la gestion de la mémoire, sans commander de silicium. Pour $50, c'est un argument de poids pour l'apprentissage et le prototypage.

La principale limite : la mémoire

La génération de texte est limitée non par le calcul, mais par la bande passante mémoire. Pour chaque token, il faut lire presque tous les poids du modèle. Une carte FPGA bon marché avec un seul module de mémoire n'offrira qu'un bus modeste, et c'est lui, non le nombre de multiplieurs du réseau, qui déterminera la vitesse.

Les 4 Go fixent un plafond à la taille du modèle. D'après notre estimation, avec une quantification sur 4 bits, un modèle de quelques milliards de paramètres occupe de l'ordre de 2 Go, et il reste de la marge pour le cache de contexte. Il est donc raisonnable de s'attendre à une petite version de Qwen, fortement compressée. Des modèles de plusieurs dizaines de milliards de paramètres ne tiendront pas sur une telle carte.

Ce qu'il faudra regarder dans la deuxième partie

Le projet est utile aux ingénieurs qui veulent comprendre le fonctionnement interne d'un accélérateur et aux étudiants qui étudient l'architecture des puces d'IA. Il ne remplacera pas une carte graphique, et son auteur, à en juger par le titre, ne le promet pas.

Quand la suite paraîtra, vérifiez quatre points :

• la vitesse de génération en tokens par seconde sur un modèle précis ;
• le schéma de quantification et les pertes de qualité ;
• la bande passante mémoire et le canal de liaison avec l'hôte ;
• la disponibilité du code ouvert et d'une procédure pour reproduire le montage pour les mêmes $50.

Si le dépôt s'avère ouvert et l'assemblage reproductible, cet article deviendra un bon terrain d'apprentissage pour ceux qui veulent essayer l'IA matérielle sans budget GPU.