ThinkBit compresse Qwen3-14B à 3,74 Go et conserve 94,8 sur MATH-500

Sur le papier, la compression des LLM à 2 bits fait depuis longtemps bonne figure : la perplexité n'augmente presque pas et les tests à choix multiples passent. Pourtant, ces modèles désapprennent souvent à raisonner. L'équipe de ThinkBit, dont l'article est rattaché à l'organisation Microsoft sur Hugging Face, a abordé le problème à l'envers et construit sa méthode pour les longues chaînes de raisonnement. Sur Qwen3-14B, le résultat est le suivant : un fichier de 3,74 Go obtient 94,8 sur MATH-500, alors que l'original en bfloat16, à 29,5 Go, obtient 97,5. La taille est divisée par près de huit, pour une perte de moins de trois points.

Pourquoi le raisonnement casse en premier

Les modèles de raisonnement produisent des milliers de tokens par réponse. Leur vitesse de génération n'est pas limitée par le calcul, mais par la bande passante mémoire : pour chaque token, il faut relire l'intégralité des poids. Les stocker sur 2 bits au lieu de seize peut donc réduire le coût d'inférence d'un facteur 8. Mais les métriques standard d'évaluation des méthodes à 2 bits, la perplexité et le multiple-choice QA, disent peu de choses sur la capacité d'un modèle à survivre à une tâche complexe en plusieurs étapes. Une petite erreur dans les poids s'accumule le long d'une longue chaîne de tokens, et la réponse finale dérive.

ThinkBit reste strictement scalaire. Chaque poids est représenté par un mot de code entier, multiplié par un facteur d'échelle en bfloat16 commun à un groupe de poids. Il n'y a pas de quantification vectorielle avec de grands codebooks, ce qui rend le format plus simple à implémenter dans les runtimes.

Quatre étapes et un arbitre final

Le pipeline est séquentiel, et chaque étape a son rôle :

• Allocation des bits. Une métrique de sensibilité range chaque couche dans l'un des trois paliers : ternaire, 2 bits ou 3 bits. Les couches critiques reçoivent plus de bits, les plus robustes en reçoivent moins.
• Recherche des mots de code. Un algorithme couche par couche, fondé sur Gumbel-softmax, cherche les mots de code optimaux bloc par bloc.
• Recalibrage des échelles. Le schéma couche par couche ne voit pas comment les couches quantifiées s'influencent mutuellement. Les mots de code sont donc gelés, et les échelles sont ajustées par une loss fondée sur la distillation des connaissances à partir d'un modèle enseignant.
• QAT court. L'entraînement tenant compte de la quantification permet au modèle de reproduire la distribution du modèle de base en réattribuant les mots de code.
• Sélection du checkpoint. Un test de raisonnement par paires, mené sur les tâches d'entraînement, détermine ce qu'on garde : le résultat du recalibrage ou celui du QAT. Le choix se fait sur la capacité à raisonner, et non sur la perplexité.

La dernière étape est la plus inhabituelle. Le QAT n'améliore pas toujours le raisonnement, et les auteurs le vérifient directement au lieu de le supposer.

Les chiffres sur Qwen3-1.7B et Qwen3-14B

Sur Qwen3-1.7B, à taille comparable, le checkpoint recalibré de ThinkBit obtient 46,7 sur MATH-500. EfficientQAT donne 30,0 sur les mêmes données. Après un QAT sur des traces de raisonnement, le résultat monte à 73,0. Le fichier occupe alors 0,52 Go. Il est plus petit que tous les GGUF à 2 bits publiés pour ce modèle, et plus précis qu'eux sur MATH-500.

Liste complète des métriques citées :

• Qwen3-1.7B, recalibrage ThinkBit : 46,7 sur MATH-500
• Qwen3-1.7B, EfficientQAT sur les mêmes données : 30,0
• Qwen3-1.7B, ThinkBit après QAT sur des traces de raisonnement : 73,0
• Taille de Qwen3-1.7B dans ThinkBit : 0,52 Go, moins que tous les GGUF 2-bit publiés
• Qwen3-14B, ThinkBit : 3,74 Go, 94,8 sur MATH-500
• Qwen3-14B, bfloat16 : 29,5 Go, 97,5 sur MATH-500

La compression effective du modèle de 14B est d'environ 7,9 fois, ce qui se rapproche du plafond théorique de 8 fois pour un passage de 16 à 2 bits. La méthode passe de 1,7B à 14B sans perdre sa logique d'ensemble.

Ce que gagnent ceux qui font tourner leurs modèles eux-mêmes

Un modèle au raisonnement solide, à 3,74 Go, tient dans une carte graphique de 8 Go avec de la marge pour le KV-cache. Auparavant, cette classe de tâches exigeait des cartes de 24 à 32 Go. Pour l'exécution locale comme pour les services à longue génération, l'économie est directe : moins de mémoire par réplique, davantage de répliques sur une même carte, un débit plus élevé.

Pour évaluer vos propres modèles quantifiés, mieux vaut ajouter à la batterie de tests des tâches de raisonnement comme MATH-500 et ne pas se limiter à la perplexité. Les résultats sur 1,7B montrent à quel point les métriques peuvent diverger : la perplexité n'aurait très probablement pas révélé l'écart entre 30,0 et 46,7 à taille similaire. Pour l'instant, ni modèles, ni datasets, ni Space ne sont rattachés à l'article : il faudra donc reproduire les résultats à partir de la description de la méthode.