Qwen3-32B accélérée de 49 % sans nouvelle carte graphique : les poids compressés de 16 à 8 bits
Un grand modèle peut gagner en vitesse sans nouvelle carte graphique, à condition de stocker ses poids sur 8 bits (FP8) au lieu de 16 (BF16). Lors d'un atelier NVIDIA, Qwen3-32B sur des cartes A100 est passée de 16,4 à 24,5 tokens par seconde. Cela représente +49 % pour un seul utilisateur, mais à l'échelle d'un serveur traitant de nombreuses requêtes, le gain est plus modeste : de 639 à 719 tokens par seconde. Il est donc utile de refaire la mesure sur votre propre charge et de vérifier la qualité des réponses.
Traité par IA depuis Habr AI ; édité par Hamidun News
Si vous faites tourner un grand modèle de langage chez vous, le problème est connu : les réponses arrivent lentement, et une nouvelle carte graphique coûte autant qu'une voiture d'occasion. Lors d'un atelier NVIDIA au GTC Berlin 2026, la société a montré qu'une partie de la vitesse peut être récupérée avec un seul réglage. Les poids de Qwen3-32B (sa « mémoire », les nombres qui la composent) sont stockés sur 8 bits par nombre au lieu de 16.
Ces formats s'appellent BF16 et FP8. Résultat : sur quatre cartes graphiques NVIDIA A100, le modèle génère 24,5 tokens par seconde au lieu de 16,4. Un token correspond ici à peu près à une syllabe ou à un mot court.
Pour un seul utilisateur, cela représente une accélération de 49 %, sans changer de matériel.
Ce qui a été réellement fait avec Qwen3-32B
L'atelier a été animé le 20 octobre par les architectes de NVIDIA Amit Kushwaha et Yesika Ramirez Cardenas. Chaque participant disposait de son propre cluster Kubernetes équipé de quatre NVIDIA A100 de 80 Go chacune. Le contenu reprend un article de l'ingénieur Siim Tolk daté du 4 novembre 2026.
Le modèle a été lancé dans deux variantes, puis comparé à l'aide de l'outil NVIDIA AIPerf. En BF16, chaque poids occupe 16 bits ; en FP8, 8 bits. Les données deviennent deux fois plus petites et sont plus rapides à lire depuis la mémoire de la carte graphique. Chaque variante a reçu 240 requêtes.
Voici les résultats :
- temps moyen entre deux tokens : 61 ms en BF16 et 42 ms en FP8 ;
- vitesse de génération pour un utilisateur : 16,4 contre 24,5 tokens par seconde, soit +49,4 % ;
- débit total du serveur : 639 contre 719 tokens par seconde, soit +12,5 %.
L'écart entre ces deux gains s'explique. La vitesse d'un flux unique et la performance globale lorsque de nombreuses requêtes s'exécutent en parallèle dépendent de facteurs différents : le batching, la consommation de mémoire et la nature de la charge. Pour un chat avec une seule personne, le FP8 apporte un gain net. Pour un serveur qui répond à des dizaines d'utilisateurs simultanément, le gain est nettement plus modeste.
Ce qui ne peut pas être considéré comme démontré
Trois réserves méritent d'être retenues avant de passer tout en FP8.
Premièrement, les A100 ne prennent pas en charge les Tensor Cores FP8 natifs, qui sont apparus dans les architectures plus récentes de NVIDIA. La mention FP8 dans la configuration ne dit donc pas quels calculs ont réellement été effectués sur 8 bits. Il se peut que le gain provienne surtout de l'économie sur le transfert des poids depuis la mémoire. L'article source ne donne pas de détails sur l'implémentation.
Deuxièmement, la qualité des réponses après quantification n'a pas été évaluée dans l'article. Une vitesse sans mesure de la qualité ne donne qu'une moitié de l'information. Les poids sur 8 bits se comportent généralement bien, mais sur une tâche précise, comme la génération de code ou le traitement d'un contexte long, le résultat peut se dégrader.
Troisièmement, les 49,4 % concernent un seul modèle, un seul matériel et un seul test de charge. Sur une autre carte graphique ou avec un autre modèle, le chiffre pourrait être très différent.
Ce qui a aussi été abordé à l'atelier et ce qui est utile
Outre la quantification, les participants ont suivi deux autres modules. Le premier portait sur la configuration d'Envoy AI Gateway : une seule adresse au lieu d'une adresse distincte pour chacun des trois modèles, des clés API, des limites par nombre de tokens, des nouvelles tentatives en cas d'erreur, et un déploiement progressif d'une nouvelle version du modèle sur une petite part du trafic. Limiter par tokens est plus pertinent que limiter par requêtes : une requête avec un contexte de 10 000 tokens sollicite davantage le serveur que dix requêtes courtes.
Le second module était consacré à NVIDIA Dynamo. Il répartit le traitement du prompt (prefill) et la génération de la réponse (decode) entre différents groupes de GPU. Il peut aussi orienter une requête vers l'endroit où le cache du début de la conversation est déjà stocké. C'est utile pour les longs échanges et le RAG. Mais le transfert du cache entre GPU consomme lui-même des ressources, et à faible charge, un schéma classique sur les mêmes GPU peut s'avérer plus efficace. La mise à l'échelle avec KEDA à partir des métriques de vLLM, c'est-à-dire le nombre de requêtes en cours et la longueur de la file d'attente, n'a de sens que pour des systèmes multi-utilisateurs.
Pour une machine personnelle avec une seule carte graphique, une grande partie de cet ensemble est superflue. Restent pertinents la quantification, FlashAttention et le réglage du moteur d'inférence.
Conclusion pratique
Ne croyez pas les 49 % d'un autre sur parole : refaites la mesure chez vous. Comparez non seulement les tokens par seconde, mais aussi le temps jusqu'au premier token, la consommation de mémoire vidéo et la qualité des réponses sur vos propres tâches. Observez séparément la vitesse avec un seul utilisateur et sous charge. Pour un chat à usage individuel, le FP8 peut apporter un gain sensible ; pour un service qui compte une centaine de clients, le gain se rapprochera vraisemblablement des 12,5 %.
- 28 oct. 2026MIT : une copie affaiblie apprend à un modèle à raisonner, jusqu'à +13 points de précision
- 9 oct. 2026Il a fait tourner Qwen sur un FPGA à 50 $ : comment fonctionne son accélérateur IA fait maison
- 20 nov. 2026Des Japonais ont ouvert Haru-4B, une IA vocale qui écoute pendant qu'elle parle : 12 Go de VRAM requis
- 18 nov. 2026Concertina replie Qwen3-4B comme un accordéon : 43% de paramètres en moins, 84% de la qualité d'origine
Questions clés sur cet article
Que sait-on sur Ce qui a été réellement fait avec Qwen3-32B ?
L'atelier a été animé le 20 octobre par les architectes de NVIDIA Amit Kushwaha et Yesika Ramirez Cardenas. Chaque participant disposait de son propre cluster Kubernetes équipé de quatre NVIDIA A100 de 80 Go chacune. Le contenu reprend un article de l'ingénieur Siim Tolk daté du 4 novembre 2026. Le modèle a été lancé dans deux variantes, puis comparé à l'aide de l'outil NVIDIA AIPerf. En BF16, chaque poids occupe 16 bits ; en FP8, 8 bits.
Que sait-on sur Ce qui ne peut pas être considéré comme démontré ?
Trois réserves méritent d'être retenues avant de passer tout en FP8. Premièrement, les A100 ne prennent pas en charge les Tensor Cores FP8 natifs, qui sont apparus dans les architectures plus récentes de NVIDIA. La mention FP8 dans la configuration ne dit donc pas quels calculs ont réellement été effectués sur 8 bits. Il se peut que le gain provienne surtout de l'économie sur le transfert des poids depuis la mémoire. L'article source ne donne pas de détails sur l'implémentation.
Que sait-on sur Ce qui a aussi été abordé à l'atelier et ce qui est utile ?
Outre la quantification, les participants ont suivi deux autres modules. Le premier portait sur la configuration d'Envoy AI Gateway : une seule adresse au lieu d'une adresse distincte pour chacun des trois modèles, des clés API, des limites par nombre de tokens, des nouvelles tentatives en cas d'erreur, et un déploiement progressif d'une nouvelle version du modèle sur une petite part du trafic.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.