Des agents de programmation ont construit un moteur LLM pour FPGA sur AWS : 213 tokens/s et 38 % moins cher que le CPU
Des agents de programmation ont écrit un moteur pour exécuter un modèle de langage sur un FPGA, une puce programmable louée dans le cloud d'AWS, et ont fait passer sa vitesse de 6,43 à 213,13 tokens/s. Les 24 réponses correspondent à la référence obtenue sur processeur, bit pour bit. À prix horaire presque égal ($1,98 contre $1,95), un million de tokens coûte $2,58 contre $4,18 sur CPU, soit 38 % de moins. Mais ce calcul ne porte que sur un seul modèle et ne constitue pas une estimation pour la production.
Traité par IA depuis X: @AIQuanting ; édité par Hamidun News
Imaginez qu'il vous faille faire tourner un modèle de langage à bon marché et en grand volume. D'ordinaire, le choix est simple : une carte graphique ou un processeur classique. Ce projet a pris une troisième voie : le FPGA, une puce qu'on peut reprogrammer pour une tâche précise et qu'on loue dans le cloud d'AWS (instances F2).
Le moteur destiné à cette puce a été écrit par des agents de programmation, et la vitesse est passée de 6,43 à 213,13 tokens par seconde. Un token correspond à peu près à un mot ou à une fraction de mot, il s'agit donc de la vitesse de génération de texte. Le plus intéressant n'est pas le « ×33 », mais le fait que le résultat a été vérifié sur la précision puis converti en argent.
Ce qui a été construit et ce que signifie « bit pour bit »
Le projet fait tourner le modèle DeepGrove à poids ternaires. Dans un tel réseau, chaque poids ne prend que trois valeurs : −1, 0 ou +1. L'arithmétique devient très simple, ce qui rend commode la conception d'un matériel hautement spécialisé. Selon le titre du projet, les agents ont écrit environ 3 millions de lignes de code pour l'implémentation et l'optimisation.
La hausse de 6,43 à 213,13 tokens par seconde donne ce fameux facteur 33. Il s'agit du gain de vitesse du moteur lui-même, et non d'un dépassement du processeur d'un facteur 33 : face au CPU, l'écart est bien plus modeste (voir plus bas).
La précision a été vérifiée à part. « Bit-exact » signifie que la réponse correspond à la référence non pas « à peu près », mais jusqu'au dernier bit. Dans le test final, il y avait huit dialogues de trois répliques, et les 24 réponses ont toutes coïncidé avec la référence figée obtenue sur CPU. En pratique, c'est essentiel : quand on optimise pour du matériel non standard, les réponses se mettent facilement à diverger légèrement, et dans un modèle de langage, même un petit écart devient vite un texte tout autre.
Comparaison avec le processeur en argent
Une heure d'instance FPGA coûte $1,98. La version CPU précise, exécutée sur 32 threads, coûte $1,95, soit presque autant. Mais le processeur produit 129,5 tokens par seconde, contre 213,13 pour le FPGA, soit environ 1,65 fois plus.
L'auteur a recalculé le prix et la vitesse pour un million de tokens générés : environ $2,58 sur FPGA contre $4,18 sur CPU. L'économie est d'environ 38 %. Il ne s'agit pas d'un benchmark séparé, mais d'un calcul simple : le prix horaire divisé par le nombre de tokens générés en une heure.
Sur un long contexte, le bilan est plus mesuré. Avec un contexte d'environ 8000 tokens, la vitesse du FPGA tombe à environ 76 tokens par seconde, et le passage a duré 77,8 secondes. Si vous travaillez avec de longs documents ou un historique de dialogue important, le gain peut nettement diminuer. Le billet ne fournit pas de données sur le comportement du CPU dans ce mode, il est donc prématuré de conclure.
Limites et ce qu'il faut en retenir
L'auteur lui-même juge le résultat utile pour ce modèle et cette implémentation, mais ne le présente pas comme un calcul du coût total de possession. Le temps de développement, la maintenance et le risque de réécrire le code pour un autre modèle n'entrent pas dans le calcul. Pendant la mise en place, des pannes matérielles et des blocages sont survenus. Il n'existe pas encore de reproduction indépendante : ces chiffres doivent donc être considérés comme déclarés, et non comme confirmés.
Ce qu'on peut en tirer en pratique :
- Si vous faites tourner de petits modèles quantifiés en grand volume, les FPGA loués ne sont plus une exotique. Mais les 38 % d'économie doivent être vérifiés sur votre propre charge et avec votre propre longueur de contexte.
- La comparaison avec une référence figée est utile sur n'importe quel matériel. Si un agent optimise l'inférence, il faut que chaque étape soit contrôlée par une correspondance bit à bit, et non par un « ça a l'air correct ».
- Raisonnez en coût par million de tokens, et non en coût horaire de location. Un prix horaire presque identique ($1,98 et $1,95) masque l'écart de vitesse, qui constitue la véritable source de l'économie.
Selon ce projet, les agents peuvent déjà se charger de tâches qui exigeaient auparavant une équipe d'ingénieurs en accélération matérielle. Mais des millions de lignes de code et des pannes matérielles rappellent que la vérification du résultat reste de la responsabilité humaine. Il faudra suivre deux points : l'apparition d'une reproduction indépendante, et la confirmation du résultat sur d'autres modèles.
- 21 nov. 2026Anthropic a clôturé sa première semaine en Bourse à une valorisation de 1,6 billion de dollars, mais a perdu 8,5 % en une journée
- 21 nov. 2026AG-UI 1.0 donne aux agents IA un langage commun pour dialoguer avec l'application : 31 types d'événements
- 21 nov. 2026OpenAI lance ChatGPT Wallet : des agents qui achètent sans jamais voir le numéro de carte
- 21 nov. 2026Les annonceurs américains ont dépensé 70,7 M$ en publicité sur ChatGPT en octobre, soit 127 % de plus qu'en avril
Questions clés sur cet article
Que sait-on sur Ce qui a été construit et ce que signifie « bit pour bit » ?
Le projet fait tourner le modèle DeepGrove à poids ternaires. Dans un tel réseau, chaque poids ne prend que trois valeurs : −1, 0 ou +1. L'arithmétique devient très simple, ce qui rend commode la conception d'un matériel hautement spécialisé. Selon le titre du projet, les agents ont écrit environ 3 millions de lignes de code pour l'implémentation et l'optimisation. La hausse de 6,43 à 213,13 tokens par seconde donne ce fameux facteur 33.
Que sait-on sur Comparaison avec le processeur en argent ?
Une heure d'instance FPGA coûte $1,98. La version CPU précise, exécutée sur 32 threads, coûte $1,95, soit presque autant. Mais le processeur produit 129,5 tokens par seconde, contre 213,13 pour le FPGA, soit environ 1,65 fois plus. L'auteur a recalculé le prix et la vitesse pour un million de tokens générés : environ $2,58 sur FPGA contre $4,18 sur CPU. L'économie est d'environ 38 %.
Que sait-on sur Limites et ce qu'il faut en retenir ?
L'auteur lui-même juge le résultat utile pour ce modèle et cette implémentation, mais ne le présente pas comme un calcul du coût total de possession. Le temps de développement, la maintenance et le risque de réécrire le code pour un autre modèle n'entrent pas dans le calcul. Pendant la mise en place, des pannes matérielles et des blocages sont survenus. Il n'existe pas encore de reproduction indépendante : ces chiffres doivent donc être considérés comme déclarés, et non comme confirmés.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.