Comment réduire un modèle de langage par 3 : guide de FP8, GPTQ et SmoothQuant

L'outil open source llmcompressor permet de compresser des modèles de langage préentraînés jusqu'à une taille compatible avec un usage en production. Un nouveau guide pratique montre comment appliquer la quantification à des modèles déjà ajustés sur instructions et comment choisir la méthode la plus adaptée à chaque cas.

Qu'est-ce que la quantification des modèles

La quantification réduit la précision des nombres avec lesquels travaille le modèle. Au lieu des nombres habituels de 16 bits (FP16) ou de 32 bits (FP32), le modèle peut fonctionner avec des valeurs de 8 bits (int8), voire de 4 bits. Le modèle devient plus petit et plus rapide, mais la qualité de ses réponses peut se dégrader.

Il existe deux approches : la quantification pendant l'entraînement (QAT) et la quantification post-entraînement (PTQ). La première est plus précise, mais exige de réentraîner le modèle sur des données. La seconde est plus rapide : elle s'applique à un modèle déjà prêt juste avant son utilisation, sans besoin de réentraînement.

llmcompressor est spécialisé dans la PTQ, la quantification post-entraînement. Cela permet d'appliquer la compression en quelques heures au lieu de semaines de réentraînement. L'ingénieur charge un modèle prêt à l'emploi dans llmcompressor, choisit une méthode de quantification et, quelques heures plus tard, obtient une version compressée prête à tourner sur du matériel modeste.

Trois méthodes de quantification face à face

Le guide teste en détail trois approches différentes sur le même modèle de base :

• Quantification dynamique FP8 — la plus simple, elle s'exécute en quelques minutes et ne nécessite pas de calibration sur des données supplémentaires. Tous les nombres (poids et activations) sont convertis dans un format 8 bits. Inconvénient : la précision la plus faible, avec une perte pouvant atteindre 5 % de qualité des réponses.
• GPTQ (W4A16) — ne compresse que les poids du modèle à 4 bits, tandis que les activations restent sur les 16 bits d'origine. Elle demande une petite calibration sur un échantillon de données. Bon compromis entre vitesse et qualité.
• SmoothQuant avec GPTQ (W8A8) — la plus précise des trois, avec poids et activations sur 8 bits mais une répartition intelligente des valeurs. Elle est plus lente que les autres et réclame davantage de données de calibration, mais les résultats restent proches de l'original, avec une perte de moins de 1 %.

Chaque méthode a été testée sur une tâche réelle : la génération de texte à partir de requêtes d'utilisateurs. Les auteurs ont mesuré la taille du fichier sur disque, la vitesse de génération (latence et débit) et la perplexité (perplexity) du modèle, une métrique de son taux d'erreur sur des données de test.

Résultats des benchmarks

La taille sur disque peut diminuer d'un facteur 3 à 4. Un modèle en 16 bits occupe nettement plus de place que la version 8 bits du même modèle. La vitesse d'inférence augmente proportionnellement à la compression, surtout sur les appareils mobiles, où la batterie est critique.

La précision dépend de la méthode choisie. FP8 perd jusqu'à 5 % de qualité des réponses, SmoothQuant moins de 1 %. Pour les scénarios de production où chaque point de précision compte, on choisit SmoothQuant, même s'il est plus lent. FP8 convient à la recherche d'idées, aux brouillons et aux tâches annexes, où l'économie de calcul justifie la perte de qualité.

La conclusion pratique du guide : si vous avez besoin de vitesse et de coûts bas, choisissez FP8. Si la précision est critique et que vous acceptez de consacrer plus de temps à l'inférence, choisissez SmoothQuant.

À qui s'adresse cet outil

L'outil et l'approche sont utiles aux entreprises qui veulent déployer leur propre modèle de langage en production :

• en edge (sur l'appareil de l'utilisateur), sans envoyer de données dans le cloud
• dans un cloud privé, avec un matériel et un budget limités
• à grande échelle : plus le modèle est petit, moins le traitement par lots et les factures cloud coûtent cher

Les startups et les grandes entreprises utilisent déjà activement la quantification. Meta* a lancé Llama 2 avec un support officiel de la quantification int8. Hugging Face a publié bitsandbytes, une bibliothèque qui simplifie la quantification pour les ingénieurs. Désormais, llmcompressor permet de la faire avec un contrôle précis sur la méthode.

Ce que cela change

La quantification passe du statut d'expérience à celui d'outil standard du pipeline de ML. Elle referme le dernier kilomètre : des outils comme llmcompressor permettent à l'ingénieur de choisir son compromis entre taille, vitesse et qualité en quelques heures plutôt qu'en semaines d'expérimentations. Pour toute l'industrie, cela signifie que les grands modèles de langage deviennent plus accessibles, moins coûteux à exploiter et plus sûrs pour la vie privée, puisqu'on peut les faire tourner en local, sans cloud.

*Meta est reconnue comme organisation extrémiste et interdite en Russie.