BitNet b1.58 : comment la quantification ternaire permet de faire tourner un modèle de 27B sans GPU

Il y a quelques années, l'idée de faire tourner un modèle de 27 milliards de paramètres sur un ordinateur portable ordinaire, sans GPU, semblait absurde. En 2024-2025, c'est devenu réalité grâce à une quantification non conventionnelle : au lieu d'approximer les poids, on construit le réseau littéralement sur deux ou trois valeurs discrètes.

Qu'est-ce que la quantification non conventionnelle

La quantification classique réduit la précision des poids sur l'échelle float32 → INT8 → INT4 → INT2, tout en conservant une plage numérique continue. L'approche non conventionnelle est plus radicale : les poids ne prennent que les valeurs {-1, 0, 1}, c'est la quantification ternaire. Microsoft Research a développé la famille BitNet, dans laquelle chaque poids occupe en moyenne 1.58 bit.

• BitNet : architecture à poids 1 bit pendant l'entraînement, proposée par Microsoft Research en 2023
• BitNet b1.58 : version ternaire à poids {-1, 0, 1}, en moyenne 1.58 bit par paramètre, publiée en mars 2024
• Gemma 27B au format ternaire occupe 6 à 7 Go et tourne sur un ordinateur portable fonctionnant uniquement sur CPU
• llama.cpp prend en charge les formats GGUF 1 bit depuis mars 2024
• Les multiplications sont remplacées par des additions et des soustractions, sans solliciter les unités de calcul flottant du processeur

Pourquoi ce n'est pas la même chose que l'INT4

La quantification INT4 classique est une compression post-entraînement : on « tasse » un modèle float32 déjà prêt après l'entraînement, et la qualité baisse inévitablement, surtout sur les petites tailles. La quantification non conventionnelle fonctionne autrement : le réseau est entraîné dès le départ pour que ses poids occupent des positions discrètes. Cela change fondamentalement la nature des pertes.

«

Un modèle à poids {-1, 0, 1}, correctement entraîné, est comparable à son équivalent en pleine précision en termes de perplexité, tout en nécessitant 3 à 5 fois moins de mémoire vive », affirme le rapport technique de Microsoft Research sur BitNet b1.58.

Selon les benchmarks ouverts, l'écart avec la référence en float16 est de 1 à 3 % sur la plupart des tâches pour les modèles à partir de 7B. C'est un prix acceptable pour qu'un modèle tienne dans la RAM d'un ordinateur portable ordinaire.

Ce qui tourne dès maintenant sur un ordinateur portable

L'exemple le plus parlant : des modèles de classe 27B sur un MacBook avec 32 Go de mémoire unifiée, ou sur un portable Windows doté d'un processeur ordinaire sans GPU dédié. Sur un Apple M2 Pro, la vitesse de génération d'un modèle 27B ternaire atteint environ 10 à 15 tokens par seconde, ce qui suffit pour la plupart des usages pratiques.

Une nuance importante : la quantification non conventionnelle donne ses meilleurs résultats sur des modèles entraînés from scratch dans ce mode. Rendre ternaire a posteriori un modèle existant, comme Llama 3, sans perte de qualité notable est difficile : il faut soit un réentraînement complémentaire, soit une distillation à partir d'un modèle enseignant ternaire.

Ce que cela change

La quantification ternaire et 1 bit repousse la frontière de l'accessibilité : les modèles de langage complets de 27B et plus ne nécessitent plus de matériel serveur. Pour les scénarios d'entreprise soumis à des exigences de confidentialité des données, c'est particulièrement pertinent : l'inférence locale, sans cloud, devient réaliste sur les plans technique et économique.

Questions fréquentes

Comment faire tourner un modèle ternaire sans GPU ?

Les modèles ternaires et 1 bit au format GGUF s'exécutent avec llama.cpp sur un processeur ordinaire. 16 à 32 Go de RAM suffisent pour des modèles de 7B à 27B, aucun GPU n'est nécessaire.

En quoi

BitNet b1.58 diffère-t-il de la quantification INT4 ?

BitNet b1.58 est entraîné avec des poids ternaires dès le départ, au lieu de les obtenir par compression post-entraînement. Il offre ainsi une qualité plus prévisible et supprime entièrement les multiplications de l'inférence.