La quantification ramène les poids d'un LLM de FP16 à INT8 en divisant leur taille par deux : guide TorchAO
Pour produire chaque token, un LLM relit l'ensemble de ses poids depuis la mémoire, et avec une charge faible, ce transfert prend plus de temps que les calculs eux-mêmes. La quantification stocke les poids en entiers sur 8 bits (INT8) au lieu de nombres à virgule sur 16 bits (FP16) : il faut alors deux fois moins de place, et la bibliothèque TorchAO de PyTorch réalise l'opération en une seule fonction, sans réentraînement. L'accélération dépend de la carte graphique et des noyaux utilisés, donc après compression, mesurez la mémoire, la vitesse et la qualité du modèle complet.
Traité par IA depuis Machine Learning Mastery ; édité par Hamidun News
Imaginez qu'à chaque mot écrit par un chatbot, il doive reparcourir toute son encyclopédie. C'est à peu près ce que fait un LLM sur une carte graphique : pour chaque nouveau token, le transformeur lit l'ensemble de ses poids depuis la mémoire. Avec de petits batchs (quand peu de requêtes sont traitées), déplacer les poids prend plus de temps que les calculs eux-mêmes.
La quantification s'attaque à ce problème en stockant les poids sur un nombre réduit de bits. Un entier sur 8 bits (INT8), par exemple, occupe deux fois moins de place qu'un nombre à virgule sur 16 bits (FP16 ou BF16). De plus, de nombreux accélérateurs d'IA calculent plus vite en basse précision qu'en FP16.
Adrian Tam, de Machine Learning Mastery, a détaillé la démarche en pratique : de la formule jusqu'aux checkpoints prêts à l'emploi, y compris via TorchAO, la bibliothèque de quantification intégrée à PyTorch.
Comment les poids deviennent des entiers
Le plus simple est de penser à une règle graduée. On divise la plage des valeurs de poids en un nombre fini de graduations, et chaque poids est enregistré sous le numéro de la graduation la plus proche. Deux paramètres sont nécessaires : l'échelle (l'écart entre deux graduations voisines) et le point zéro (le numéro de la graduation qui correspond au vrai zéro). Pour l'usage, on reconvertit ce numéro en une valeur approchée. L'écart entre la valeur d'origine et la valeur restituée constitue l'erreur d'arrondi.
L'auteur met en garde contre un piège. L'exemple pédagogique sous PyTorch stocke les valeurs en uint8, et chacune occupe un octet entier, même si vous avez demandé 4 bits. Pour obtenir une réelle économie, un format de production doit empaqueter les valeurs sur moins d'un octet. Autre point : une seule échelle pour l'ensemble du tenseur dégrade la qualité. Pour un LLM, les schémas par canal ou par groupe sont généralement préférables, car chaque ligne de la matrice ou chaque bloc de poids a alors sa propre plage.
Le mode weight-only signifie que seuls les poids sont compressés, tandis que les données d'entrée de la couche (activations) restent en FP16 ou BF16. Un noyau efficace utilise directement les poids entiers et ne reconstruit pas de copie complète de la matrice.
TorchAO, GPTQ et AWQ : trois façons d'obtenir un modèle compressé
Le chemin le plus court passe par TorchAO. La fonction quantize_() remplace sur place les poids des couches Linear appropriées d'un modèle déjà entraîné. Aucun réentraînement n'est nécessaire, c'est pourquoi on parle de quantification post-entraînement. Dans l'exemple, l'auteur demande un INT8 asymétrique par canal avec des activations en BF16. Via la bibliothèque transformers, la configuration peut être appliquée dès le chargement du modèle, par exemple en INT4 avec des groupes de 128. L'auteur signale en outre qu'un choix explicite de l'algorithme HQQ et de l'empaquetage en tuiles a permis de contourner, sur une RTX 4090 testée, la dépendance optionnelle au noyau MSLK de TorchAO 0.17. Selon les autres versions et cartes, les dispositions disponibles peuvent différer.
L'arrondi simple examine chaque poids isolément et ne tient pas compte de l'influence de chaque canal d'entrée sur la réponse. GPTQ et AWQ s'appuient sur des exemples de calibration, c'est-à-dire un petit lot de textes typiques. GPTQ compresse couche après couche et corrige au fil de l'eau les poids encore non compressés, afin de compenser l'erreur accumulée. Dans transformers, il s'appuie désormais sur le backend GPT-QModel ; dans l'exemple, la calibration utilise le jeu de données c4, et le paramètre sym=False active le schéma asymétrique. AWQ identifie les poids qui comptent le plus pour les activations typiques et calcule des coefficients qui les protègent avant la compression.
Des écueils existent aussi. Les checkpoints GPTQ asymétriques fonctionnent avec moins de noyaux : le backend Marlin ne les prend pas en charge. L'implémentation de référence d'AWQ utilise pour la calibration 128 exemples de 512 tokens issus de pile-val-backup, et il est impossible de choisir un autre jeu de données via sa ligne de commande. Le fichier .pt brut obtenu après quantification n'est pas un checkpoint Hugging Face complet : il ne contient ni la configuration du modèle ni le tokenizer, qu'il faut empaqueter séparément.
Que faire en pratique
- Choisissez le schéma et le backend ensemble. Une configuration mathématiquement correcte n'est pas toujours la plus rapide, et le runtime doit prendre en charge le format d'empaquetage exact.
- Ne calculez pas l'économie à la main. L'INT8 divise par deux le stockage brut par rapport au FP16 ou au BF16, mais le résultat final dépend de l'empaquetage, des groupes et des échelles.
- Mesurez le modèle entier. La vitesse dépend du matériel, des noyaux et des formes des matrices. Observez la mémoire, la latence et la qualité sur vos propres tâches, et non sur une couche isolée.
- Vérifiez la calibration. Le résultat de GPTQ et d'AWQ dépend de la proximité entre les exemples et le trafic réel. Pour du code, des textes juridiques ou une autre langue, un jeu de données générique peut ne pas convenir.
Le matériau traite aussi de la conversion au format GGUF pour llama.cpp (une copie compilée du dépôt est nécessaire) et de l'évaluation des effets de la quantification. La source originale, dans notre version, s'interrompt au milieu de la section sur GPTQ : elle ne fournit donc aucun chiffre sur la vitesse finale ni sur la perte de qualité. Pour les équipes qui calculent le coût de l'inférence, c'est néanmoins une aide-mémoire utile. Un ordre raisonnable consiste à prendre la variante TorchAO sans calibration comme point de départ, à mesurer la mémoire, la vitesse et la qualité, puis à essayer GPTQ ou AWQ là où il faut une compression plus poussée.
- 12 oct. 2026RunPod passe en revue 4 méthodes de quantification : de FP16 à INT4, la mémoire est divisée par 4
- 30 juin 2026NVIDIA TensorRT transforme les checkpoints FP8 en moteurs d'inférence rapide
- 17 mai 2026Comment réduire un modèle de langage par 3 : guide de FP8, GPTQ et SmoothQuant
- 21 nov. 2026La quantification OpenVINO réduit de 75,4 % le temps de calcul de CLIP pour LanceDB sur CPU
Questions clés sur cet article
Comment les poids deviennent des entiers?
Le plus simple est de penser à une règle graduée. On divise la plage des valeurs de poids en un nombre fini de graduations, et chaque poids est enregistré sous le numéro de la graduation la plus proche. Deux paramètres sont nécessaires : l'échelle (l'écart entre deux graduations voisines) et le point zéro (le numéro de la graduation qui correspond au vrai zéro). Pour l'usage, on reconvertit ce numéro en une valeur approchée. L'écart entre la valeur d'origine et la valeur restituée constitue l'erreur d'arrondi.
Que sait-on sur TorchAO, GPTQ et AWQ : trois façons d'obtenir un modèle compressé ?
Le chemin le plus court passe par TorchAO. La fonction quantize_() remplace sur place les poids des couches Linear appropriées d'un modèle déjà entraîné. Aucun réentraînement n'est nécessaire, c'est pourquoi on parle de quantification post-entraînement. Dans l'exemple, l'auteur demande un INT8 asymétrique par canal avec des activations en BF16. Via la bibliothèque transformers, la configuration peut être appliquée dès le chargement du modèle, par exemple en INT4 avec des groupes de 128.
Que sait-on sur Que faire en pratique ?
Choisissez le schéma et le backend ensemble. Une configuration mathématiquement correcte n'est pas toujours la plus rapide, et le runtime doit prendre en charge le format d'empaquetage exact. Ne calculez pas l'économie à la main. L'INT8 divise par deux le stockage brut par rapport au FP16 ou au BF16, mais le résultat final dépend de l'empaquetage, des groupes et des échelles. Mesurez le modèle entier. La vitesse dépend du matériel, des noyaux et des formes des matrices.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.