Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarMachine Learning Mastery→ original

La quantification ramène les poids d'un LLM de FP16 à INT8 en divisant leur taille par deux : guide TorchAO

Pour produire chaque token, un LLM relit l'ensemble de ses poids depuis la mémoire, et avec une charge faible, ce transfert prend plus de temps que les calculs eux-mêmes. La quantification stocke les poids en entiers sur 8 bits (INT8) au lieu de nombres à virgule sur 16 bits (FP16) : il faut alors deux fois moins de place, et la bibliothèque TorchAO de PyTorch réalise l'opération en une seule fonction, sans réentraînement. L'accélération dépend de la carte graphique et des noyaux utilisés, donc après compression, mesurez la mémoire, la vitesse et la qualité du modèle complet.

Traité par IA depuis Machine Learning Mastery ; édité par Hamidun News
La quantification ramène les poids d'un LLM de FP16 à INT8 en divisant leur taille par deux : guide TorchAO
Source : Machine Learning Mastery. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMachine Learning Mastery ↗
Rédacteur en chef
Chiffre clé #1GPTQ et AWQ ajustent les poids à partir d'exemples de calibration, et non par simple arrondi
Chiffre clé #2Le GPTQ asymétrique ne fonctionne pas avec le backend Marlin : choisissez-les ensemble
Chiffre clé #3L'INT4 avec des groupes de 128 s'active directement au chargement du modèle dans transformers

Imaginez qu'à chaque mot écrit par un chatbot, il doive reparcourir toute son encyclopédie. C'est à peu près ce que fait un LLM sur une carte graphique : pour chaque nouveau token, le transformeur lit l'ensemble de ses poids depuis la mémoire. Avec de petits batchs (quand peu de requêtes sont traitées), déplacer les poids prend plus de temps que les calculs eux-mêmes.

La quantification s'attaque à ce problème en stockant les poids sur un nombre réduit de bits. Un entier sur 8 bits (INT8), par exemple, occupe deux fois moins de place qu'un nombre à virgule sur 16 bits (FP16 ou BF16). De plus, de nombreux accélérateurs d'IA calculent plus vite en basse précision qu'en FP16.

Adrian Tam, de Machine Learning Mastery, a détaillé la démarche en pratique : de la formule jusqu'aux checkpoints prêts à l'emploi, y compris via TorchAO, la bibliothèque de quantification intégrée à PyTorch.

Comment les poids deviennent des entiers

Le plus simple est de penser à une règle graduée. On divise la plage des valeurs de poids en un nombre fini de graduations, et chaque poids est enregistré sous le numéro de la graduation la plus proche. Deux paramètres sont nécessaires : l'échelle (l'écart entre deux graduations voisines) et le point zéro (le numéro de la graduation qui correspond au vrai zéro). Pour l'usage, on reconvertit ce numéro en une valeur approchée. L'écart entre la valeur d'origine et la valeur restituée constitue l'erreur d'arrondi.

L'auteur met en garde contre un piège. L'exemple pédagogique sous PyTorch stocke les valeurs en uint8, et chacune occupe un octet entier, même si vous avez demandé 4 bits. Pour obtenir une réelle économie, un format de production doit empaqueter les valeurs sur moins d'un octet. Autre point : une seule échelle pour l'ensemble du tenseur dégrade la qualité. Pour un LLM, les schémas par canal ou par groupe sont généralement préférables, car chaque ligne de la matrice ou chaque bloc de poids a alors sa propre plage.

Le mode weight-only signifie que seuls les poids sont compressés, tandis que les données d'entrée de la couche (activations) restent en FP16 ou BF16. Un noyau efficace utilise directement les poids entiers et ne reconstruit pas de copie complète de la matrice.

TorchAO, GPTQ et AWQ : trois façons d'obtenir un modèle compressé

Le chemin le plus court passe par TorchAO. La fonction quantize_() remplace sur place les poids des couches Linear appropriées d'un modèle déjà entraîné. Aucun réentraînement n'est nécessaire, c'est pourquoi on parle de quantification post-entraînement. Dans l'exemple, l'auteur demande un INT8 asymétrique par canal avec des activations en BF16. Via la bibliothèque transformers, la configuration peut être appliquée dès le chargement du modèle, par exemple en INT4 avec des groupes de 128. L'auteur signale en outre qu'un choix explicite de l'algorithme HQQ et de l'empaquetage en tuiles a permis de contourner, sur une RTX 4090 testée, la dépendance optionnelle au noyau MSLK de TorchAO 0.17. Selon les autres versions et cartes, les dispositions disponibles peuvent différer.

L'arrondi simple examine chaque poids isolément et ne tient pas compte de l'influence de chaque canal d'entrée sur la réponse. GPTQ et AWQ s'appuient sur des exemples de calibration, c'est-à-dire un petit lot de textes typiques. GPTQ compresse couche après couche et corrige au fil de l'eau les poids encore non compressés, afin de compenser l'erreur accumulée. Dans transformers, il s'appuie désormais sur le backend GPT-QModel ; dans l'exemple, la calibration utilise le jeu de données c4, et le paramètre sym=False active le schéma asymétrique. AWQ identifie les poids qui comptent le plus pour les activations typiques et calcule des coefficients qui les protègent avant la compression.

Des écueils existent aussi. Les checkpoints GPTQ asymétriques fonctionnent avec moins de noyaux : le backend Marlin ne les prend pas en charge. L'implémentation de référence d'AWQ utilise pour la calibration 128 exemples de 512 tokens issus de pile-val-backup, et il est impossible de choisir un autre jeu de données via sa ligne de commande. Le fichier .pt brut obtenu après quantification n'est pas un checkpoint Hugging Face complet : il ne contient ni la configuration du modèle ni le tokenizer, qu'il faut empaqueter séparément.

Que faire en pratique

  • Choisissez le schéma et le backend ensemble. Une configuration mathématiquement correcte n'est pas toujours la plus rapide, et le runtime doit prendre en charge le format d'empaquetage exact.
  • Ne calculez pas l'économie à la main. L'INT8 divise par deux le stockage brut par rapport au FP16 ou au BF16, mais le résultat final dépend de l'empaquetage, des groupes et des échelles.
  • Mesurez le modèle entier. La vitesse dépend du matériel, des noyaux et des formes des matrices. Observez la mémoire, la latence et la qualité sur vos propres tâches, et non sur une couche isolée.
  • Vérifiez la calibration. Le résultat de GPTQ et d'AWQ dépend de la proximité entre les exemples et le trafic réel. Pour du code, des textes juridiques ou une autre langue, un jeu de données générique peut ne pas convenir.

Le matériau traite aussi de la conversion au format GGUF pour llama.cpp (une copie compilée du dépôt est nécessaire) et de l'évaluation des effets de la quantification. La source originale, dans notre version, s'interrompt au milieu de la section sur GPTQ : elle ne fournit donc aucun chiffre sur la vitesse finale ni sur la perte de qualité. Pour les équipes qui calculent le coût de l'inférence, c'est néanmoins une aide-mémoire utile. Un ordre raisonnable consiste à prendre la variante TorchAO sans calibration comme point de départ, à mesurer la mémoire, la vitesse et la qualité, puis à essayer GPTQ ou AWQ là où il faut une compression plus poussée.

Dossier

Questions clés sur cet article

Comment les poids deviennent des entiers?

Le plus simple est de penser à une règle graduée. On divise la plage des valeurs de poids en un nombre fini de graduations, et chaque poids est enregistré sous le numéro de la graduation la plus proche. Deux paramètres sont nécessaires : l'échelle (l'écart entre deux graduations voisines) et le point zéro (le numéro de la graduation qui correspond au vrai zéro). Pour l'usage, on reconvertit ce numéro en une valeur approchée. L'écart entre la valeur d'origine et la valeur restituée constitue l'erreur d'arrondi.

Que sait-on sur TorchAO, GPTQ et AWQ : trois façons d'obtenir un modèle compressé ?

Le chemin le plus court passe par TorchAO. La fonction quantize_() remplace sur place les poids des couches Linear appropriées d'un modèle déjà entraîné. Aucun réentraînement n'est nécessaire, c'est pourquoi on parle de quantification post-entraînement. Dans l'exemple, l'auteur demande un INT8 asymétrique par canal avec des activations en BF16. Via la bibliothèque transformers, la configuration peut être appliquée dès le chargement du modèle, par exemple en INT4 avec des groupes de 128.

Que sait-on sur Que faire en pratique ?

Choisissez le schéma et le backend ensemble. Une configuration mathématiquement correcte n'est pas toujours la plus rapide, et le runtime doit prendre en charge le format d'empaquetage exact. Ne calculez pas l'économie à la main. L'INT8 divise par deux le stockage brut par rapport au FP16 ou au BF16, mais le résultat final dépend de l'empaquetage, des groupes et des échelles. Mesurez le modèle entier. La vitesse dépend du matériel, des noyaux et des formes des matrices.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…