Comment compresser un modèle de langage par 3 : guide de FP8, GPTQ et SmoothQuant

Un outil open-source llmcompressor permet de compresser les modèles de langage pré-entraînés à une taille adaptée à une utilisation en production. Un nouveau guide pratique montre comment appliquer la quantification à des modèles déjà ajustés par instructions et choisir la méthode optimale pour votre scénario.

Qu'est-ce que la quantification de modèles

La quantification est la réduction de la précision des nombres avec lesquels travaille un modèle. Au lieu de nombres standards de 16 bits (FP16) ou 32 bits (FP32), un modèle peut travailler avec des valeurs de 8 bits (int8) ou même 4 bits. Cela rend le modèle plus petit et plus rapide, mais peut dégrader la qualité des réponses. Il existe deux approches : la quantification consciente de l'entraînement (QAT) et la quantification post-entraînement (PTQ). La première est plus précise, mais nécessite un réentraînement du modèle sur les données. La seconde est plus rapide, simplement appliquée à un modèle déjà prêt juste avant l'utilisation, sans besoin de réentraînement.

llmcompressor se spécialise dans le PTQ — quantification post-entraînement. Cela permet d'appliquer la compression en quelques heures au lieu de semaines de réentraînement. Un ingénieur charge un modèle prêt dans llmcompressor, choisit une méthode de quantification, et en quelques heures dispose d'une version comprimée prête à être utilisée sur du matériel plus faible.

Trois méthodes de quantification en comparaison

Le guide teste en détail trois approches différentes sur le même modèle de base :

• Quantification dynamique FP8 — la plus simple, fonctionne en minutes, ne nécessite aucun calibrage sur des données supplémentaires. Tous les nombres (poids et activations) sont convertis au format 8 bits. Inconvénient : pire précision, peut perdre jusqu'à 5% en qualité de réponse
• GPTQ (W4A16) — comprime seulement les poids du modèle à 4 bits, les activations restent dans les 16 bits originaux. Nécessite un léger calibrage sur un échantillon de données. Bon équilibre entre vitesse et qualité
• SmoothQuant avec GPTQ (W8A8) — la plus précise des trois, poids et activations en 8 bits, mais avec distribution intelligente des valeurs. Plus lent que les autres, nécessite plus de données pour l'étalonnage, mais les résultats restent proches de l'original avec une perte inférieure à 1%

Chaque méthode a été testée sur une tâche réelle — génération de texte basée sur les requêtes des utilisateurs. Ils ont mesuré la taille du fichier sur disque, la vitesse de génération (latence et débit), et la "perplexité" du modèle — une métrique de la façon dont le modèle se trompe sur les données de test.

Résultats des benchmarks

La taille sur disque peut se réduire de 3 à 4 fois. Un modèle de 16 bits occupe substantiellement plus d'espace qu'une version 8 bits du même modèle. La vitesse d'inférence augmente proportionnellement à la compression, particulièrement notable sur les appareils mobiles où la batterie est critique. La précision dépend de la méthode choisie. FP8 perd jusqu'à 5% en qualité de réponse, SmoothQuant — moins de 1%. Pour les scénarios de production où chaque pour cent de précision est critique, on choisit SmoothQuant, même si c'est plus lent. Pour la génération d'idées, les brouillons et les tâches auxiliaires, FP8 convient et l'économie informatique justifie la perte de qualité.

La conclusion pratique du guide : si vous avez besoin de vitesse et de faibles coûts — choisissez FP8. Si la précision est critique et que vous êtes prêt à passer plus de temps sur l'inférence — SmoothQuant.

Qui en a besoin

Cet outil et cette approche sont utiles pour les entreprises qui souhaitent exécuter leur modèle de langage en production :

— sur edge (sur l'appareil de l'utilisateur) sans envoyer les données vers le cloud — dans un cloud privé avec matériel et budget limités — à l'échelle : plus petit est le modèle, moins cher est le traitement par lots et les factures cloud

Les startups et l'industrie corporative utilisent déjà activement la quantification. Meta a lancé Llama 2 avec support officiel de la quantification int8. Hugging Face a publié bitsandbytes — une bibliothèque qui simplifie la quantification pour les ingénieurs. Maintenant llmcompressor permet de le faire avec un contrôle fin sur la méthode.

Ce que cela signifie

La quantification passe de la catégorie des expériences à un outil standard de pipeline ML. C'est la fermeture du dernier kilomètre — des outils comme llmcompressor permettent à un ingénieur de choisir un compromis entre taille, vitesse et qualité en heures au lieu de semaines d'expérimentation. Pour l'ensemble de l'industrie, cela signifie : les grands modèles de langage deviennent plus accessibles, moins chers à exploiter et plus sûrs en termes de confidentialité, car vous pouvez les exécuter localement sans le cloud.