Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarMachine Learning Mastery→ original

Comment compresser un LLM entièrement en 8 bits : SmoothQuant et FP8 face aux valeurs aberrantes

Pour accélérer un LLM, on stocke ses nombres sur 8 bits au lieu de formats plus lourds. Pour les poids, l'opération se fait une seule fois ; les activations, elles, sont des valeurs intermédiaires recalculées à chaque requête, qui oscillent et contiennent des valeurs aberrantes. SmoothQuant divise les canaux d'activations « bruyants » par un coefficient et multiplie les colonnes de poids correspondantes par le même coefficient : le résultat de la couche reste inchangé. W8A8 utilise 8 bits pour les poids comme pour les activations (INT8 ou FP8). Il n'est toutefois pas toujours plus rapide que W4A16 ou BF16 : mesurez-le sur votre propre charge de travail.

Traité par IA depuis Machine Learning Mastery ; édité par Hamidun News
Comment compresser un LLM entièrement en 8 bits : SmoothQuant et FP8 face aux valeurs aberrantes
Source : Machine Learning Mastery. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMachine Learning Mastery ↗
Rédacteur en chef
Chiffre clé #1Les noyaux INT8 de vLLM fonctionnent sur les NVIDIA de Turing à Hopper ; sur Blackwell, c'est FP8 qu'il faut utiliser
Chiffre clé #2L'échelle statique est plus rapide, la dynamique est plus précise mais ajoute des calculs
FP8 ne tronque pas les bitsle tenseur est divisé par l'échelle puis arrondi à la valeur FP8 la plus proche

Pour accélérer un LLM et réduire son empreinte mémoire, on stocke ses nombres internes sur 8 bits au lieu de formats plus lourds comme BF16 ou FP32. Pour les poids, c'est simple : ils sont figés après l'entraînement, et on peut les quantifier une seule fois avant le déploiement. Les activations, c'est plus compliqué : ce sont les valeurs intermédiaires que le modèle recalcule à chaque requête.

Elles dépendent du token d'entrée, de sa position et des couches précédentes, et certains canaux affichent en permanence des nombres anormalement grands, les valeurs aberrantes. Le mode W8A8 (8 bits pour les poids et pour les activations) se heurte précisément à ce problème. Dans une nouvelle analyse publiée sur Machine Learning Mastery, Adrian Tam montre comment le contourner avec SmoothQuant, INT8 et FP8, et ce qu'on peut déjà lancer dans vLLM.

Pourquoi les activations sont plus difficiles que les poids

Imaginez une règle graduée qui doit mesurer aussi bien la taille d'un enfant que la hauteur d'un gratte-ciel. Si vous étirez l'échelle pour le gratte-ciel, la taille de l'enfant ne tient plus que dans quelques graduations et se mesure mal. Si vous la tronquez, le gratte-ciel dépasse et l'information disparaît. Avec les valeurs aberrantes des activations, c'est pareil : une plage trop large rend le pas de quantification grossier pour les valeurs courantes, tandis que l'écrêtage préserve la précision des valeurs ordinaires mais détruit la valeur aberrante.

On peut définir l'échelle de deux façons. L'échelle statique se calcule à l'avance sur des données de calibration : elle est rapide, mais une entrée hors de la plage de calibration peut être écrêtée. L'échelle dynamique se mesure pendant la requête : elle s'adapte à chaque entrée, mais ajoute au chemin d'inférence une recherche du maximum et un calcul d'échelle. Pour les transformeurs, une option courante est l'échelle dynamique par token : une seule échelle pour l'ensemble des caractéristiques cachées d'un token. L'exemple de l'article utilise un INT8 symétrique, dont le point zéro est toujours nul, ce qui simplifie l'arithmétique des produits matriciels.

SmoothQuant : reporter la difficulté sur les poids

SmoothQuant supprime les valeurs aberrantes grâce à une substitution astucieuse. Les canaux d'activations aux grandes valeurs sont divisés par des coefficients choisis, et les colonnes de poids correspondantes sont multipliées par ces mêmes coefficients. Avant quantification, le résultat de la couche ne change pas mathématiquement, mais la plage des activations s'uniformise. Les poids étant statiques, ils supportent généralement mieux une plage inégale lorsqu'ils sont quantifiés par canal.

L'auteur souligne la différence avec AWQ, abordé dans un texte précédent de la série. AWQ s'appuie sur des activations de calibration pour protéger les poids importants dans un format du type W4A16, tandis que les activations restent dans un format plus précis pendant l'inférence. SmoothQuant prépare les deux côtés pour INT8 : il modifie les poids enregistrés et facilite la quantification des activations à la volée.

La démarche pratique passe par la bibliothèque LLM Compressor du projet vLLM. Dans l'exemple sur TinyLlama-1.1B, on prélève 128 échantillons de calibration issus du jeu de données ultrachat_200k, d'une longueur maximale de 512 tokens. On applique ensuite SmoothQuantModifier avec une force de lissage de 0,8, ainsi que GPTQModifier pour le schéma W8A8, en laissant la couche lm_head intacte. Le point de contrôle contient les poids INT8 par canal et les instructions de quantification des activations à l'inférence, mais les activations elles-mêmes ne sont pas sauvegardées. vLLM charge ce point de contrôle sans argument de quantification séparé.

FP8 : bien plus qu'un simple troncage de bits

FP8 est lui aussi une quantification avec échelle. Le tenseur est divisé par l'échelle, puis arrondi à la valeur la plus proche représentable dans le format FP8. L'auteur insiste : il ne s'agit pas d'une simple coupure des bits d'une valeur FP32. Pour les possesseurs de cartes Blackwell, ce point est crucial : les noyaux INT8 actuels de vLLM sont prévus pour les NVIDIA de Turing à Hopper, et sur Blackwell il faut privilégier la voie FP8 prise en charge.

Points à vérifier en pratique

  • Une génération courte sur TinyLlama permet seulement de vérifier que le point de contrôle se charge et fonctionne. La réponse d'un petit modèle peut être imprécise ; la qualité de la quantification doit être comparée à celle du modèle d'origine sur des prompts représentatifs.
  • Le format du point de contrôle, l'architecture du modèle, la version de vLLM et le GPU doivent prendre en charge le même schéma W8A8.
  • W8A8 ne garantit pas un gain face à W4A16 ou BF16. Le matériel de calcul INT8 excelle en phase de préremplissage et avec de grands lots, alors que W4A16 lit moins d'octets de poids et peut être plus avantageux en décodage avec de petits lots.

Conclusion pour qui calcule le coût de l'inférence : il n'existe pas de schéma universellement meilleur. Commencez par définir le profil de charge — prompts longs ou réponses courtes, lots grands ou petits. Préparez ensuite deux ou trois variantes de points de contrôle et lancez un benchmark séparément pour le préremplissage et le décodage, sans oublier d'évaluer la qualité. Une réserve enfin : l'analyse s'appuie sur un modèle minuscule, il faudra donc vérifier vous-même les chiffres de vitesse et de précision sur les grands LLM.

Dossier

Questions clés sur cet article

Pourquoi les activations sont plus difficiles que les poids?

Imaginez une règle graduée qui doit mesurer aussi bien la taille d'un enfant que la hauteur d'un gratte-ciel. Si vous étirez l'échelle pour le gratte-ciel, la taille de l'enfant ne tient plus que dans quelques graduations et se mesure mal. Si vous la tronquez, le gratte-ciel dépasse et l'information disparaît.

Que sait-on sur SmoothQuant : reporter la difficulté sur les poids ?

SmoothQuant supprime les valeurs aberrantes grâce à une substitution astucieuse. Les canaux d'activations aux grandes valeurs sont divisés par des coefficients choisis, et les colonnes de poids correspondantes sont multipliées par ces mêmes coefficients. Avant quantification, le résultat de la couche ne change pas mathématiquement, mais la plage des activations s'uniformise. Les poids étant statiques, ils supportent généralement mieux une plage inégale lorsqu'ils sont quantifiés par canal.

Que sait-on sur FP8 : bien plus qu'un simple troncage de bits ?

FP8 est lui aussi une quantification avec échelle. Le tenseur est divisé par l'échelle, puis arrondi à la valeur la plus proche représentable dans le format FP8. L'auteur insiste : il ne s'agit pas d'une simple coupure des bits d'une valeur FP32. Pour les possesseurs de cartes Blackwell, ce point est crucial : les noyaux INT8 actuels de vLLM sont prévus pour les NVIDIA de Turing à Hopper, et sur Blackwell il faut privilégier la voie FP8 prise en charge.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…