Nunchaku Lite : la génération d'images en 4 bits arrive dans Diffusers, jusqu'à 50 % de VRAM en moins

Hugging Face a lancé le 23 juillet 2026 Nunchaku Lite, une intégration native de l'inférence 4 bits des modèles de diffusion dans la bibliothèque Diffusers. Elle réduit la consommation de mémoire vidéo jusqu'à 50 % et accélère la génération d'images d'environ 30 %.

Qu'est-ce que Nunchaku et SVDQuant ?

Nunchaku est un moteur d'inférence CUDA qui implémente la méthode de quantification SVDQuant pour les transformers de diffusion. Avec Nunchaku Lite, cette technologie arrive pour la première fois directement dans Diffusers : le modèle se charge avec le classique `from_pretrained()`, sans pipeline séparé ni compilation manuelle, et les noyaux CUDA nécessaires se téléchargent automatiquement via le paquet `kernels` au premier lancement.

La principale différence de Nunchaku avec la plupart des backends tient à son mode W4A4 : les poids comme les activations sont compressés à 4 bits. Les méthodes classiques de quantification des seuls poids réduisent l'empreinte mémoire, mais n'accélèrent pas les calculs ; ici, c'est la boucle de débruitage elle-même qui devient plus rapide.

« SVDQuant transfère les valeurs aberrantes des activations vers les

poids, représente la partie la plus lourde de chaque matrice de poids par une petite branche low-rank en 16 bits, puis quantifie le résidu restant à 4 bits », indique le blog technique de Hugging Face.

La méthode SVDQuant repose sur un article publié sur arXiv en novembre 2024 par l'équipe du MIT HAN Lab. Pour les couches lourdes (attention et MLP), c'est le noyau `svdq_w4a4` avec correction low-rank qui s'applique ; pour les couches de modulation, le noyau `awq_w4a16` utilise des poids en 4 bits et des activations en 16 bits.

Quelle accélération pour la génération ?

Sur une carte RTX PRO 6000, en résolution 1024×1024, Nunchaku Lite apporte un gain mesurable sur toutes les métriques. L'exécution de référence en BF16 prend 3,00 secondes et 31,1 Go de mémoire vidéo ; en format NVFP4, elle tombe à 2,27 secondes et 20,6 Go.

• BF16 (référence) : 3,00 s, 31,1 Go de mémoire — accélération 1,0x
• NVFP4 : 2,27 s, 20,6 Go — accélération 1,35x
• NVFP4 + torch.compile : 1,68 s, 20,6 Go — accélération 1,8x
• NVFP4 + encodeur de texte NF4 : 2,29 s, 16,0 Go de mémoire
• Modèle ERNIE-Image-Turbo : 1024×1024 en ~1,7 s sur RTX 5090 (~12 Go contre ~24 Go en BF16)

L'association avec `torch.compile` porte l'accélération à 1,8x, et le remplacement de l'encodeur de texte par une version NF4 fait chuter le pic de mémoire à 16,0 Go — de quoi exécuter des modèles lourds sur des cartes grand public.

Quel matériel et quels modèles sont pris en charge ?

Nunchaku Lite fonctionne sur la plupart des cartes NVIDIA récentes, mais le schéma de quantification dépend de l'architecture. Le format NVFP4 via le noyau `svdq_w4a4` exige une architecture Blackwell (RTX 50, RTX PRO 6000, B200) ; sur Turing, Ampere et Ada (RTX 30/40, A100, L40S), c'est l'INT4 qui est utilisé. Les architectures Volta et Hopper ne sont pas prises en charge : au chargement, le validateur renvoie immédiatement une erreur explicite.

Des modèles prêts à l'emploi sont déjà publiés dans l'organisation lite-infer sur le Hugging Face Hub : ERNIE-Image-Turbo (en variantes INT4 et NVFP4), Krea 2 Turbo (NVFP4) et FLUX.2 Klein 4B. Pour quantifier ses propres modèles, l'équipe a publié l'outil diffuse-compressor : il inspecte le modèle, effectue la calibration SVDQuant, assemble le pipeline Diffusers et publie le résultat sur le Hub.

Ce que cela change

L'inférence 4 bits cesse d'être l'apanage de forks isolés et arrive dans la principale bibliothèque de génération d'images. Les développeurs obtiennent une consommation de VRAM divisée par deux et une accélération notable, en pratique avec une seule ligne de code — ce qui rend les modèles de diffusion phares accessibles sur de simples cartes graphiques gaming.

Questions fréquentes

Sur quelles cartes graphiques

Nunchaku Lite fonctionne-t-il ?

Le format NVFP4 exige des cartes Blackwell — RTX 50, RTX PRO 6000 ou B200. Sur RTX 30/40, A100 et L40S, c'est le schéma INT4 qui s'applique. Les architectures Volta et Hopper ne sont pas du tout prises en charge.

De combien la VRAM nécessaire diminue-t-elle ?

Sur RTX PRO 6000, le pic de VRAM passe de 31,1 Go en BF16 à 20,6 Go en NVFP4, puis à 16,0 Go avec l'encodeur de texte NF4, soit presque la moitié.