Nunchaku Lite: generación de imágenes en 4 bits en Diffusers con hasta un 50% menos de VRAM

El 23 de julio de 2026, Hugging Face lanzó Nunchaku Lite, una integración nativa de la inferencia en 4 bits de modelos de difusión en la biblioteca Diffusers. Reduce el consumo de memoria de vídeo hasta un 50% y acelera la generación de imágenes en torno a un 30%.

Qué son Nunchaku y SVDQuant

Nunchaku es un motor de inferencia en CUDA que implementa el método de cuantización SVDQuant para transformers de difusión. Con la integración de Nunchaku Lite, esta tecnología llega por primera vez directamente a Diffusers: el modelo se carga con el habitual `from_pretrained()`, sin un pipeline aparte ni compilación manual, y los kernels CUDA necesarios se descargan automáticamente a través del paquete `kernels` en la primera ejecución.

La diferencia clave de Nunchaku respecto a la mayoría de los backends es el modo W4A4: se comprimen a 4 bits tanto los pesos como las activaciones. Los métodos convencionales de solo pesos reducen la memoria, pero no aceleran el cálculo; aquí se acelera el propio bucle de eliminación de ruido.

«SVDQuant traslada los valores atípicos de las activaciones a los

pesos, representa la parte más pesada de cada matriz de pesos con una pequeña rama de bajo rango en 16 bits y cuantiza el residuo restante a 4 bits», señala el blog técnico de Hugging Face.

El método SVDQuant se basa en un artículo publicado en noviembre de 2024 en arXiv por el equipo de MIT HAN Lab. Para las capas pesadas (attention y MLP) se utiliza el kernel `svdq_w4a4` con corrección de bajo rango, y para las capas de modulación, `awq_w4a16`, con pesos de 4 bits y activaciones de 16 bits.

Cuánto se acelera la generación

En una tarjeta RTX PRO 6000 con resolución de 1024×1024, Nunchaku Lite ofrece una mejora medible en todas las métricas. La ejecución base en BF16 tarda 3,00 segundos y ocupa 31,1 GB de memoria de vídeo; en formato NVFP4, 2,27 segundos y 20,6 GB.

• BF16 (referencia): 3,00 s, 31,1 GB de memoria — aceleración 1,0x
• NVFP4: 2,27 s, 20,6 GB — aceleración 1,35x
• NVFP4 + torch.compile: 1,68 s, 20,6 GB — aceleración 1,8x
• NVFP4 + codificador de texto NF4: 2,29 s, 16,0 GB de memoria
• Modelo ERNIE-Image-Turbo: 1024×1024 en ~1,7 s en una RTX 5090 (~12 GB frente a ~24 GB en BF16)

La combinación con `torch.compile` acelera la generación hasta 1,8 veces, y sustituir el codificador de texto por NF4 reduce el pico de memoria a 16,0 GB, lo suficiente para ejecutar modelos pesados en tarjetas de consumo.

Qué hardware y modelos son compatibles

Nunchaku Lite funciona en la mayoría de las tarjetas NVIDIA actuales, pero el esquema de cuantización depende de la arquitectura. El formato NVFP4 mediante el kernel `svdq_w4a4` requiere Blackwell (RTX 50, RTX PRO 6000, B200), mientras que en Turing, Ampere y Ada (RTX 30/40, A100, L40S) se usa INT4. Las arquitecturas Volta y Hopper no son compatibles: al cargar el modelo, el validador muestra de inmediato un error claro.

Los modelos listos para ejecutar ya están publicados en la organización lite-infer del Hugging Face Hub: ERNIE-Image-Turbo (en variantes INT4 y NVFP4), Krea 2 Turbo (NVFP4) y FLUX.2 Klein 4B. Para cuantizar modelos propios, el equipo ha publicado la herramienta diffuse-compressor, que inspecciona el modelo, realiza la calibración de SVDQuant, construye el pipeline de Diffusers y publica el resultado en el Hub.

Qué significa

La inferencia en 4 bits deja de ser cosa de forks aislados y llega a la biblioteca principal de generación de imágenes. Los desarrolladores obtienen la mitad de consumo de VRAM y una aceleración notable con prácticamente una sola línea de código, lo que hace accesibles los modelos de difusión más potentes en tarjetas gráficas gaming corrientes.

Preguntas frecuentes

¿En qué tarjetas gráficas funciona Nunchaku Lite?

El formato NVFP4 requiere tarjetas Blackwell: RTX 50, RTX PRO 6000 o B200. En RTX 30/40, A100 y L40S funciona el esquema INT4. Las arquitecturas Volta y Hopper no son compatibles en absoluto.

¿Cuánta menos memoria de vídeo se necesita?

En una RTX PRO 6000, el pico de VRAM baja de 31,1 GB en BF16 a 20,6 GB en NVFP4, y con el codificador de texto NF4 llega a 16,0 GB, es decir, casi a la mitad.