Faire tourner de grands réseaux de neurones en local : la mémoire compressée 14 fois

Faire tourner de grands réseaux de neurones en local n'est plus un fantasme réservé aux passionnés équipés d'une baie de serveurs. Deux approches récentes, les poids 1 bit de Bonsai, de PrismML, et la compression de KV-cache TurboQuant, de Google Research, s'attaquent en même temps aux deux postes les plus coûteux de l'inférence : la mémoire du modèle et la mémoire du contexte long.

Quelle place occupera le réseau de neurones textuel

Qwen 8B après compression ? Environ 1.15 Go contre 16.38 Go pour la version FP16 d'origine, soit environ 14 fois moins.

Comment compresse-t-on la mémoire du contexte dans les réseaux de

neurones textuels ? Google Research a proposé TurboQuant, une méthode de compression du KV-cache qui réduit l'un des deux postes les plus coûteux de l'inférence avec un contexte long.

Peut-on exécuter gratuitement un grand réseau de neurones en local ?

Oui, Bonsai 8B de PrismML est disponible sous licence Apache 2.0. Grâce à la compression des poids en 1 bit, sa taille est d'environ 1.15 Go au lieu de 16.38 Go, soit 14 fois moins que la version standard.

Qu'est-ce qui réduit les besoins en mémoire pour exécuter une grande

IA en local ? Deux approches : les poids 1 bit (Bonsai) et la compression du KV-cache (TurboQuant). Elles s'attaquent à deux postes coûteux de l'inférence : la mémoire du modèle et celle du contexte long.

Comment exécuter un réseau de neurones sur son propre ordinateur ?

Bonsai de PrismML (poids 1 bit) compresse le modèle Qwen3-8B à 1.15 Go au lieu de 16.38 Go, soit environ 14 fois. TurboQuant de Google compresse en plus le KV-cache pour le contexte long.

Qu'est-ce que Bonsai ?

Bonsai 8B est un modèle de PrismML basé sur Qwen3-8B, sous licence Apache 2.0, dont presque tous les poids sont stockés en représentation 1 bit, ce qui permet de le compresser environ 14 fois.

Comment exécuter un grand réseau de neurones sur son PC ?

On peut utiliser la technique Bonsai de PrismML : des poids 1 bit qui réduisent la taille du modèle de 14 fois (de 16.38 Go à 1.15 Go). Ou appliquer TurboQuant de Google Research pour compresser le KV-cache du contexte long.

De combien la mémoire nécessaire à un réseau de neurones local diminue-t-elle ?

Bonsai 8B n'exige que 1.15 Go de mémoire au lieu des 16.38 Go de la version FP16 classique, soit une économie d'environ 14 fois.

De combien de mémoire Bonsai 8B a-t-il besoin ?

Environ 1.15 Go contre 16.38 Go pour la version FP16 classique, soit environ 14 fois moins.