Comment compresser un LLM entièrement en 8 bits : SmoothQuant et FP8 face aux valeurs aberrantes
Pour accélérer un LLM, on stocke ses nombres sur 8 bits au lieu de formats plus lourds. Pour les poids, l'opération se fait une seule fois ; les activations, elles, sont des valeurs intermédiaires recalculées à chaque requête, qui oscillent et contiennent des valeurs aberrantes. SmoothQuant divise les canaux d'activations « bruyants » par un coefficient et multiplie les colonnes de poids correspondantes par le même coefficient : le résultat de la couche reste inchangé. W8A8 utilise 8 bits pour les poids comme pour les activations (INT8 ou FP8). Il n'est toutefois pas toujours plus rapide que W4A16 ou BF16 : mesurez-le sur votre propre charge de travail.
Traité par IA depuis Machine Learning Mastery ; édité par Hamidun News
Pour accélérer un LLM et réduire son empreinte mémoire, on stocke ses nombres internes sur 8 bits au lieu de formats plus lourds comme BF16 ou FP32. Pour les poids, c'est simple : ils sont figés après l'entraînement, et on peut les quantifier une seule fois avant le déploiement. Les activations, c'est plus compliqué : ce sont les valeurs intermédiaires que le modèle recalcule à chaque requête.
Elles dépendent du token d'entrée, de sa position et des couches précédentes, et certains canaux affichent en permanence des nombres anormalement grands, les valeurs aberrantes. Le mode W8A8 (8 bits pour les poids et pour les activations) se heurte précisément à ce problème. Dans une nouvelle analyse publiée sur Machine Learning Mastery, Adrian Tam montre comment le contourner avec SmoothQuant, INT8 et FP8, et ce qu'on peut déjà lancer dans vLLM.
Pourquoi les activations sont plus difficiles que les poids
Imaginez une règle graduée qui doit mesurer aussi bien la taille d'un enfant que la hauteur d'un gratte-ciel. Si vous étirez l'échelle pour le gratte-ciel, la taille de l'enfant ne tient plus que dans quelques graduations et se mesure mal. Si vous la tronquez, le gratte-ciel dépasse et l'information disparaît. Avec les valeurs aberrantes des activations, c'est pareil : une plage trop large rend le pas de quantification grossier pour les valeurs courantes, tandis que l'écrêtage préserve la précision des valeurs ordinaires mais détruit la valeur aberrante.
On peut définir l'échelle de deux façons. L'échelle statique se calcule à l'avance sur des données de calibration : elle est rapide, mais une entrée hors de la plage de calibration peut être écrêtée. L'échelle dynamique se mesure pendant la requête : elle s'adapte à chaque entrée, mais ajoute au chemin d'inférence une recherche du maximum et un calcul d'échelle. Pour les transformeurs, une option courante est l'échelle dynamique par token : une seule échelle pour l'ensemble des caractéristiques cachées d'un token. L'exemple de l'article utilise un INT8 symétrique, dont le point zéro est toujours nul, ce qui simplifie l'arithmétique des produits matriciels.
SmoothQuant : reporter la difficulté sur les poids
SmoothQuant supprime les valeurs aberrantes grâce à une substitution astucieuse. Les canaux d'activations aux grandes valeurs sont divisés par des coefficients choisis, et les colonnes de poids correspondantes sont multipliées par ces mêmes coefficients. Avant quantification, le résultat de la couche ne change pas mathématiquement, mais la plage des activations s'uniformise. Les poids étant statiques, ils supportent généralement mieux une plage inégale lorsqu'ils sont quantifiés par canal.
L'auteur souligne la différence avec AWQ, abordé dans un texte précédent de la série. AWQ s'appuie sur des activations de calibration pour protéger les poids importants dans un format du type W4A16, tandis que les activations restent dans un format plus précis pendant l'inférence. SmoothQuant prépare les deux côtés pour INT8 : il modifie les poids enregistrés et facilite la quantification des activations à la volée.
La démarche pratique passe par la bibliothèque LLM Compressor du projet vLLM. Dans l'exemple sur TinyLlama-1.1B, on prélève 128 échantillons de calibration issus du jeu de données ultrachat_200k, d'une longueur maximale de 512 tokens. On applique ensuite SmoothQuantModifier avec une force de lissage de 0,8, ainsi que GPTQModifier pour le schéma W8A8, en laissant la couche lm_head intacte. Le point de contrôle contient les poids INT8 par canal et les instructions de quantification des activations à l'inférence, mais les activations elles-mêmes ne sont pas sauvegardées. vLLM charge ce point de contrôle sans argument de quantification séparé.
FP8 : bien plus qu'un simple troncage de bits
FP8 est lui aussi une quantification avec échelle. Le tenseur est divisé par l'échelle, puis arrondi à la valeur la plus proche représentable dans le format FP8. L'auteur insiste : il ne s'agit pas d'une simple coupure des bits d'une valeur FP32. Pour les possesseurs de cartes Blackwell, ce point est crucial : les noyaux INT8 actuels de vLLM sont prévus pour les NVIDIA de Turing à Hopper, et sur Blackwell il faut privilégier la voie FP8 prise en charge.
Points à vérifier en pratique
- Une génération courte sur TinyLlama permet seulement de vérifier que le point de contrôle se charge et fonctionne. La réponse d'un petit modèle peut être imprécise ; la qualité de la quantification doit être comparée à celle du modèle d'origine sur des prompts représentatifs.
- Le format du point de contrôle, l'architecture du modèle, la version de vLLM et le GPU doivent prendre en charge le même schéma W8A8.
- W8A8 ne garantit pas un gain face à W4A16 ou BF16. Le matériel de calcul INT8 excelle en phase de préremplissage et avec de grands lots, alors que W4A16 lit moins d'octets de poids et peut être plus avantageux en décodage avec de petits lots.
Conclusion pour qui calcule le coût de l'inférence : il n'existe pas de schéma universellement meilleur. Commencez par définir le profil de charge — prompts longs ou réponses courtes, lots grands ou petits. Préparez ensuite deux ou trois variantes de points de contrôle et lancez un benchmark séparément pour le préremplissage et le décodage, sans oublier d'évaluer la qualité. Une réserve enfin : l'analyse s'appuie sur un modèle minuscule, il faudra donc vérifier vous-même les chiffres de vitesse et de précision sur les grands LLM.
- 17 mai 2026Comment réduire un modèle de langage par 3 : guide de FP8, GPTQ et SmoothQuant
- 11 oct. 2026Des parents d'élèves d'une école située à 300 m d'une usine Tesla demandent plus de temps pour étudier le plan d'émissions
- 9 juil. 2026IA pour les entreprises et climat : pourquoi Google et Amazon prennent du retard sur leurs objectifs
- 3 mai 2026KDnuggets : cinq méthodes de détection des valeurs aberrantes ne concordent que sur 32 vins sur 816
Questions clés sur cet article
Pourquoi les activations sont plus difficiles que les poids?
Imaginez une règle graduée qui doit mesurer aussi bien la taille d'un enfant que la hauteur d'un gratte-ciel. Si vous étirez l'échelle pour le gratte-ciel, la taille de l'enfant ne tient plus que dans quelques graduations et se mesure mal. Si vous la tronquez, le gratte-ciel dépasse et l'information disparaît.
Que sait-on sur SmoothQuant : reporter la difficulté sur les poids ?
SmoothQuant supprime les valeurs aberrantes grâce à une substitution astucieuse. Les canaux d'activations aux grandes valeurs sont divisés par des coefficients choisis, et les colonnes de poids correspondantes sont multipliées par ces mêmes coefficients. Avant quantification, le résultat de la couche ne change pas mathématiquement, mais la plage des activations s'uniformise. Les poids étant statiques, ils supportent généralement mieux une plage inégale lorsqu'ils sont quantifiés par canal.
Que sait-on sur FP8 : bien plus qu'un simple troncage de bits ?
FP8 est lui aussi une quantification avec échelle. Le tenseur est divisé par l'échelle, puis arrondi à la valeur la plus proche représentable dans le format FP8. L'auteur insiste : il ne s'agit pas d'une simple coupure des bits d'une valeur FP32. Pour les possesseurs de cartes Blackwell, ce point est crucial : les noyaux INT8 actuels de vLLM sont prévus pour les NVIDIA de Turing à Hopper, et sur Blackwell il faut privilégier la voie FP8 prise en charge.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.