Bonsai 2 27B compressé : 17 tokens/s sur une carte de 2017, contre 32 pour Qwen3 8B
Un développeur voulait faire tourner un modèle local sur une vieille carte de minage dotée de 8 Go de mémoire. Il a choisi Bonsai 2 27B, une version compressée : ses 27 milliards de paramètres passent de 54 à 5,9 Go. Le modèle démarre, mais un Qwen3 8B classique, dans les mêmes 8 Go, obtient presque le même résultat : 36 points sur 40 contre 35 pour Bonsai, et 32 tokens par seconde contre 17. Bonsai exige le fork de PrismML : Ollama et le llama.cpp standard ne savent pas le lire. Pour un assistant domestique sur 8 Go, mieux vaut prendre un 8B sans bricolage.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez que vous vouliez monter un assistant local, sans cloud, sur du matériel qui traîne déjà sous votre bureau : par exemple une vieille carte graphique de minage avec 8 Go de mémoire. Un modèle classique de 27 milliards de paramètres pèse plusieurs dizaines de gigaoctets et n'y tient pas. Le studio PrismML a publié Bonsai 2 27B, qu'il a compressé à 5,9 Go, en promettant une qualité presque intacte.
L'auteur d'une analyse publiée sur Habr a testé cette promesse sur une NVIDIA P104-100 de 2017, un processeur i7-3770 sans AVX2, 15,5 Go de RAM et deux smartphones Android bon marché. Le verdict pour un praticien : cela fonctionne, mais Qwen3 8B, qui tient déjà dans 8 Go, offre presque la même qualité, avec une vitesse deux fois supérieure. La vitesse se mesure ici en tokens par seconde (t/s) : un token est un fragment de mot, de l'ordre de quelques lettres.
Comment 27B tient dans 5,9 Go
Un modèle classique stocke chaque poids sous forme d'un nombre de 16 bits ; en 27B, cela représente environ 54 Go. Dans Bonsai 2, chaque poids ne peut prendre que trois valeurs : −1, 0 et +1 (cette compression est dite ternaire). Le format PTQ1_0 utilise 1,75 bit par poids et occupe 5,9 Go ; le format PQ2_0 utilise 2,13 bits et occupe 7,2 Go. Selon les développeurs, 98,2 % de la qualité du Qwen3.8-27B d'origine est conservée, et la multiplication est remplacée par une addition et un changement de signe.
La taille compte aussi pour la vitesse : pour produire un seul token, la carte lit tous les poids, si bien que la vitesse est le plus souvent limitée par la bande passante mémoire plutôt que par le calcul.
Il y a toutefois un point gênant. Seul le fork de PrismML comprend les tenseurs ternaires. Ollama renvoie une erreur lorsqu'il tente de lire un tel fichier. Le llama.cpp standard fait pire : il charge sans broncher l'ancien format Q2_0, puis le modèle répond n'importe quoi. Avant la compression, les poids sont pivotés par une matrice de Hadamard afin de lisser les rares valeurs aberrantes ; à l'inférence, les données d'entrée doivent subir la même rotation, ce que le llama.cpp standard ne fait pas. On peut faire cohabiter Ollama avec le fork au moyen de correctifs, mais ils disparaissent à la première mise à jour.
Ce que montrent les mesures
Sur la P104-100, Bonsai PTQ1_0 lit le prompt à 93,8 t/s et génère environ 17 t/s. Avec un contexte de 16K tokens, 7967 Mo sur 8191 sont occupés ; à 32K, le modèle ne démarre pas, de sorte que les 262K annoncés restent théoriques pour 8 Go. Sur une RTX 4090, d'après PrismML, la vitesse atteint 81–91 t/s : la vieille carte en fournit donc environ un cinquième.
Un Qwen UD-IQ2_XXS classique en 2 bits, de la même taille, lit le prompt six fois plus lentement sur cette carte (15,7 t/s) et génère 1,6 fois plus lentement (10,8 t/s). La vitesse dépend des noyaux (kernels) écrits pour un format précis, et non du nombre de bits par poids. Le processeur seul, sans carte graphique, a produit 0,6 t/s.
Le disque n'influe que sur le démarrage : 25 secondes avec un NVMe et 87 avec un HDD ; ensuite, la vitesse est quasi identique, 16,5 et 17,0 t/s.
Sur la qualité, l'écart est minime. Sur une série de 40 tâches courtes, Bonsai obtient 35 points et Qwen3 8B 36. Le code, le JSON, la recherche d'un fait dans un texte, les connaissances et le texte en russe sont quasiment sans faute chez presque tous les modèles.
Seules la logique et les mathématiques les départagent, et là, la victoire du 8B n'est pas tout à fait équitable : le prompt disait « réponds uniquement par un nombre », mais le modèle a tout de même détaillé les calculs étape par étape. Lorsque l'auteur a activé le raisonnement chez Bonsai, celui-ci a résolu les cinq tâches au lieu de trois, en dépensant 63 tokens. Sur une série de 20 tâches difficiles, avec des connaissances rares et des contextes de 8K et 16K, le 27B ne montre pas non plus d'avantage net : le 8B a obtenu 8 points sur 10 à 31,9 t/s, Bonsai 7 sur 10 à 16,8 t/s.
Le 27B a écrit un peu mieux les contes, 19 points sur 25 contre 18, mais l'échantillon de cinq histoires est trop petit.
Et sur les téléphones ?
Le TECNO Pouvoir 4 est strictement 32 bits : les builds Android du fork n'existent que pour arm64, et un processus 32 bits ne peut pas ouvrir un fichier de 5,9 Go à cause de la limite d'adressage de 4 Go. Les versions plus petites, Bonsai 2B et 4B, ont dû être compilées depuis les sources et délivrent de 0,6 à 1,4 t/s. Sur le TECNO Pova 5 avec 8 Go, le 27B a démarré et a répondu correctement à 5 questions sur 6.
Mais une application ne dispose que d'environ 3–4 Go sur 8 Go, si bien que le téléphone relit les poids depuis la mémoire flash à chaque token. Résultat : 0,05 t/s, soit environ 20 secondes par token. Sur un smartphone haut de gamme avec 12–16 Go, la situation est probablement meilleure, mais l'auteur ne l'a pas vérifié.
Que faire en pratique
Pour un assistant local sur 8 Go, Qwen3 8B est plus simple : outils standard, vitesse deux fois supérieure et qualité comparable. Bonsai mérite d'être essayé si vous disposez d'une carte de 12–16 Go et que vous voulez précisément un modèle de classe 27B, ou si vous êtes prêt à vivre sur un fork. La méthode de l'auteur a ses limites : une seule exécution par tâche, de petits jeux de tests et une évaluation subjective des contes.
- 18 nov. 2026LLM sur un VPS sans GPU : des modèles de 4B trient les demandes avec 90 % de précision en 3 à 5 s
- 18 nov. 2026Qwen sur deux DGX Spark gagne 34–59% en tokens par seconde et devance GLM
- 18 nov. 2026Un modèle de langage sur ESP32-S3 poussé à 406 tokens/s, 18 fois plus vite
- 18 nov. 2026Après une panne, les agents n'annulent leur travail que dans 47% des cas, alors qu'ils résolvent 84% des tâches
Questions clés sur cet article
Et sur les téléphones ?
Le TECNO Pouvoir 4 est strictement 32 bits : les builds Android du fork n'existent que pour arm64, et un processus 32 bits ne peut pas ouvrir un fichier de 5,9 Go à cause de la limite d'adressage de 4 Go. Les versions plus petites, Bonsai 2B et 4B, ont dû être compilées depuis les sources et délivrent de 0,6 à 1,4 t/s. Sur le TECNO Pova 5 avec 8 Go, le 27B a démarré et a répondu correctement à 5 questions sur 6.
Comment 27B tient dans 5,9 Go?
Un modèle classique stocke chaque poids sous forme d'un nombre de 16 bits ; en 27B, cela représente environ 54 Go. Dans Bonsai 2, chaque poids ne peut prendre que trois valeurs : −1, 0 et +1 (cette compression est dite ternaire). Le format PTQ1_0 utilise 1,75 bit par poids et occupe 5,9 Go ; le format PQ2_0 utilise 2,13 bits et occupe 7,2 Go. Selon les développeurs, 98,2 % de la qualité du Qwen3.8-27B d'origine est conservée, et la multiplication est remplacée par une addition et un changement de signe.
Que sait-on sur Ce que montrent les mesures ?
Sur la P104-100, Bonsai PTQ1_0 lit le prompt à 93,8 t/s et génère environ 17 t/s. Avec un contexte de 16K tokens, 7967 Mo sur 8191 sont occupés ; à 32K, le modèle ne démarre pas, de sorte que les 262K annoncés restent théoriques pour 8 Go. Sur une RTX 4090, d'après PrismML, la vitesse atteint 81–91 t/s : la vieille carte en fournit donc environ un cinquième.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.