Bonsai 27B de PrismML : Qwen3-27B tourne pour la première fois sur un smartphone

La start-up PrismML, fondée par des chercheurs du California Institute of Technology (Caltech), a présenté Bonsai 27B, le premier modèle de langage de 27 milliards de paramètres exécuté avec succès sur un smartphone. La technologie repose sur des poids 1 bit et ternaires, qui permettent de compresser Qwen3.6-27B d'un facteur 9.4 à 14.2 tout en conservant 90 à 95 % de la qualité d'origine.

Comment fonctionne Bonsai 27B

Bonsai 27B n'est pas une nouvelle architecture, mais une version extrêmement optimisée du modèle ouvert Qwen3.6-27B d'Alibaba. PrismML a publié deux variantes, avec des niveaux de quantification différents : une version ternaire (les poids prennent les valeurs –1, 0 ou +1) et une version binaire (uniquement –1 et +1). Cette méthode s'appelle la quantification post-entraînement : les poids d'origine sont compressés après l'entraînement, sans réentraînement à partir de zéro.

Paramètres précis des deux versions :

• Version ternaire : 5.9 Go, environ 26 tokens par seconde sur un ordinateur portable standard
• Version 1 bit (binaire) : 3.9 Go, tient dans la RAM d'un smartphone
• Taux de compression des poids : 9.4 à 14.2 fois par rapport à l'original
• Qualité conservée : 90 à 95 % de Qwen3.6-27B complet
• Développeur : PrismML (fondée par des chercheurs de Caltech)

La Qwen3.6-27B d'origine, au format fp16, pèse plus de 50 Go et nécessite un GPU de serveur. Bonsai 27B dans sa variante 1 bit est 13 fois plus légère.

Pourquoi les poids 1 bit changent la donne

Dans les modèles de langage standard, chaque paramètre est stocké sur 16 ou 32 bits. Avec une représentation 1 bit, un « poids » vaut littéralement zéro ou un. Cela réduit radicalement l'empreinte mémoire et accélère l'inférence sur des appareils dépourvus de GPU spécialisé.

Selon la publication de PrismML, c'est cette approche qui a permis d'exécuter le modèle sur un smartphone ordinaire, sans connexion au cloud. Il y a encore un an, cela passait pour irréaliste à l'échelle de 27 milliards de paramètres. Jusqu'ici, les LLM mobiles se limitaient à des modèles de 1 à 7 milliards de paramètres, comme Gemma 2B de Google ou Phi-3.5-mini de Microsoft.

«

Bonsai 27B montre que la frontière entre cloud et edge computing s'efface rapidement », indique l'annonce officielle de PrismML.

Les deux variantes du modèle sont publiées en accès libre sur Hugging Face : les développeurs peuvent expérimenter dès maintenant.

Ce que cela signifie

Exécuter un modèle de 27 milliards de paramètres sur un smartphone franchit un seuil technologique important : de puissants modèles de langage pourront tourner sur des milliards d'appareils existants, sans infrastructure cloud, avec une confidentialité totale des données et en mode hors ligne. Avec ce résultat, PrismML confirme que la quantification 1 bit est passée du stade d'idée académique à celui d'outil pratique.

Questions fréquentes

Peut-on exécuter Bonsai 27B sur un iPhone ou un Android ?

La version 1 bit, qui pèse 3.9 Go, fonctionne sur un smartphone ordinaire sans connexion au cloud : c'est précisément ce que PrismML a démontré dans son annonce.

En quoi Bonsai 27B diffère-t-il de Qwen3.6-27B ?

Bonsai 27B est Qwen3.6-27B avec des poids extrêmement compressés. PrismML a appliqué une quantification 1 bit et ternaire, réduisant la taille du modèle de 9.4 à 14.2 fois tout en conservant 90 à 95 % de la qualité de l'original.