Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Qwen3-32B accélérée de 49 % sans nouvelle carte graphique : les poids compressés de 16 à 8 bits

Un grand modèle peut gagner en vitesse sans nouvelle carte graphique, à condition de stocker ses poids sur 8 bits (FP8) au lieu de 16 (BF16). Lors d'un atelier NVIDIA, Qwen3-32B sur des cartes A100 est passée de 16,4 à 24,5 tokens par seconde. Cela représente +49 % pour un seul utilisateur, mais à l'échelle d'un serveur traitant de nombreuses requêtes, le gain est plus modeste : de 639 à 719 tokens par seconde. Il est donc utile de refaire la mesure sur votre propre charge et de vérifier la qualité des réponses.

Traité par IA depuis Habr AI ; édité par Hamidun News
Qwen3-32B accélérée de 49 % sans nouvelle carte graphique : les poids compressés de 16 à 8 bits
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Le temps entre deux tokens est passé de 61 à 42 ms sur 240 requêtes de test
Chiffre clé #2Les A100 n'ont pas de noyaux FP8 natifs, il faut donc vérifier l'origine réelle de l'accélération
Chiffre clé #3La qualité des réponses après compression n'a pas été mesurée dans l'article source

Si vous faites tourner un grand modèle de langage chez vous, le problème est connu : les réponses arrivent lentement, et une nouvelle carte graphique coûte autant qu'une voiture d'occasion. Lors d'un atelier NVIDIA au GTC Berlin 2026, la société a montré qu'une partie de la vitesse peut être récupérée avec un seul réglage. Les poids de Qwen3-32B (sa « mémoire », les nombres qui la composent) sont stockés sur 8 bits par nombre au lieu de 16.

Ces formats s'appellent BF16 et FP8. Résultat : sur quatre cartes graphiques NVIDIA A100, le modèle génère 24,5 tokens par seconde au lieu de 16,4. Un token correspond ici à peu près à une syllabe ou à un mot court.

Pour un seul utilisateur, cela représente une accélération de 49 %, sans changer de matériel.

Ce qui a été réellement fait avec Qwen3-32B

L'atelier a été animé le 20 octobre par les architectes de NVIDIA Amit Kushwaha et Yesika Ramirez Cardenas. Chaque participant disposait de son propre cluster Kubernetes équipé de quatre NVIDIA A100 de 80 Go chacune. Le contenu reprend un article de l'ingénieur Siim Tolk daté du 4 novembre 2026.

Le modèle a été lancé dans deux variantes, puis comparé à l'aide de l'outil NVIDIA AIPerf. En BF16, chaque poids occupe 16 bits ; en FP8, 8 bits. Les données deviennent deux fois plus petites et sont plus rapides à lire depuis la mémoire de la carte graphique. Chaque variante a reçu 240 requêtes.

Voici les résultats :

  • temps moyen entre deux tokens : 61 ms en BF16 et 42 ms en FP8 ;
  • vitesse de génération pour un utilisateur : 16,4 contre 24,5 tokens par seconde, soit +49,4 % ;
  • débit total du serveur : 639 contre 719 tokens par seconde, soit +12,5 %.

L'écart entre ces deux gains s'explique. La vitesse d'un flux unique et la performance globale lorsque de nombreuses requêtes s'exécutent en parallèle dépendent de facteurs différents : le batching, la consommation de mémoire et la nature de la charge. Pour un chat avec une seule personne, le FP8 apporte un gain net. Pour un serveur qui répond à des dizaines d'utilisateurs simultanément, le gain est nettement plus modeste.

Ce qui ne peut pas être considéré comme démontré

Trois réserves méritent d'être retenues avant de passer tout en FP8.

Premièrement, les A100 ne prennent pas en charge les Tensor Cores FP8 natifs, qui sont apparus dans les architectures plus récentes de NVIDIA. La mention FP8 dans la configuration ne dit donc pas quels calculs ont réellement été effectués sur 8 bits. Il se peut que le gain provienne surtout de l'économie sur le transfert des poids depuis la mémoire. L'article source ne donne pas de détails sur l'implémentation.

Deuxièmement, la qualité des réponses après quantification n'a pas été évaluée dans l'article. Une vitesse sans mesure de la qualité ne donne qu'une moitié de l'information. Les poids sur 8 bits se comportent généralement bien, mais sur une tâche précise, comme la génération de code ou le traitement d'un contexte long, le résultat peut se dégrader.

Troisièmement, les 49,4 % concernent un seul modèle, un seul matériel et un seul test de charge. Sur une autre carte graphique ou avec un autre modèle, le chiffre pourrait être très différent.

Ce qui a aussi été abordé à l'atelier et ce qui est utile

Outre la quantification, les participants ont suivi deux autres modules. Le premier portait sur la configuration d'Envoy AI Gateway : une seule adresse au lieu d'une adresse distincte pour chacun des trois modèles, des clés API, des limites par nombre de tokens, des nouvelles tentatives en cas d'erreur, et un déploiement progressif d'une nouvelle version du modèle sur une petite part du trafic. Limiter par tokens est plus pertinent que limiter par requêtes : une requête avec un contexte de 10 000 tokens sollicite davantage le serveur que dix requêtes courtes.

Le second module était consacré à NVIDIA Dynamo. Il répartit le traitement du prompt (prefill) et la génération de la réponse (decode) entre différents groupes de GPU. Il peut aussi orienter une requête vers l'endroit où le cache du début de la conversation est déjà stocké. C'est utile pour les longs échanges et le RAG. Mais le transfert du cache entre GPU consomme lui-même des ressources, et à faible charge, un schéma classique sur les mêmes GPU peut s'avérer plus efficace. La mise à l'échelle avec KEDA à partir des métriques de vLLM, c'est-à-dire le nombre de requêtes en cours et la longueur de la file d'attente, n'a de sens que pour des systèmes multi-utilisateurs.

Pour une machine personnelle avec une seule carte graphique, une grande partie de cet ensemble est superflue. Restent pertinents la quantification, FlashAttention et le réglage du moteur d'inférence.

Conclusion pratique

Ne croyez pas les 49 % d'un autre sur parole : refaites la mesure chez vous. Comparez non seulement les tokens par seconde, mais aussi le temps jusqu'au premier token, la consommation de mémoire vidéo et la qualité des réponses sur vos propres tâches. Observez séparément la vitesse avec un seul utilisateur et sous charge. Pour un chat à usage individuel, le FP8 peut apporter un gain sensible ; pour un service qui compte une centaine de clients, le gain se rapprochera vraisemblablement des 12,5 %.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été réellement fait avec Qwen3-32B ?

L'atelier a été animé le 20 octobre par les architectes de NVIDIA Amit Kushwaha et Yesika Ramirez Cardenas. Chaque participant disposait de son propre cluster Kubernetes équipé de quatre NVIDIA A100 de 80 Go chacune. Le contenu reprend un article de l'ingénieur Siim Tolk daté du 4 novembre 2026. Le modèle a été lancé dans deux variantes, puis comparé à l'aide de l'outil NVIDIA AIPerf. En BF16, chaque poids occupe 16 bits ; en FP8, 8 bits.

Que sait-on sur Ce qui ne peut pas être considéré comme démontré ?

Trois réserves méritent d'être retenues avant de passer tout en FP8. Premièrement, les A100 ne prennent pas en charge les Tensor Cores FP8 natifs, qui sont apparus dans les architectures plus récentes de NVIDIA. La mention FP8 dans la configuration ne dit donc pas quels calculs ont réellement été effectués sur 8 bits. Il se peut que le gain provienne surtout de l'économie sur le transfert des poids depuis la mémoire. L'article source ne donne pas de détails sur l'implémentation.

Que sait-on sur Ce qui a aussi été abordé à l'atelier et ce qui est utile ?

Outre la quantification, les participants ont suivi deux autres modules. Le premier portait sur la configuration d'Envoy AI Gateway : une seule adresse au lieu d'une adresse distincte pour chacun des trois modèles, des clés API, des limites par nombre de tokens, des nouvelles tentatives en cas d'erreur, et un déploiement progressif d'une nouvelle version du modèle sur une petite part du trafic.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…