Nunchaku Lite: geração de imagens em 4 bits no Diffusers com até 50% menos VRAM

A Hugging Face lançou em 23 de julho de 2026 o Nunchaku Lite, uma integração nativa de inferência em 4 bits para modelos de difusão na biblioteca Diffusers. A solução reduz o consumo de memória de vídeo em até 50% e acelera a geração de imagens em cerca de 30%.

O que são o Nunchaku e o SVDQuant

O Nunchaku é um motor de inferência em CUDA que implementa o método de quantização SVDQuant para transformers de difusão. Com o Nunchaku Lite, essa tecnologia chega pela primeira vez diretamente ao Diffusers: o modelo é carregado com o `from_pretrained()` de sempre, sem pipeline separado nem compilação manual, e os kernels CUDA necessários são baixados automaticamente pelo pacote `kernels` na primeira execução.

A principal diferença do Nunchaku em relação à maioria dos backends é o modo W4A4: tanto os pesos quanto as ativações são comprimidos para 4 bits. Os métodos tradicionais de quantização apenas dos pesos reduzem o uso de memória, mas não aceleram os cálculos; aqui, o próprio laço de remoção de ruído (denoising) fica mais rápido.

«O SVDQuant transfere os outliers das ativações para os pesos,

representa a parte mais pesada de cada matriz de pesos com um pequeno ramo low-rank de 16 bits e quantiza o resíduo restante para 4 bits», diz o blog técnico da Hugging Face.

O método SVDQuant se baseia em um artigo publicado no arXiv em novembro de 2024 pela equipe do MIT HAN Lab. Para as camadas pesadas (attention e MLP), entra em ação o kernel `svdq_w4a4` com correção low-rank; para as camadas de modulação, é usado o `awq_w4a16`, com pesos de 4 bits e ativações de 16 bits.

Quanto a geração acelera

Na placa de vídeo RTX PRO 6000, com resolução de 1024×1024, o Nunchaku Lite entrega ganhos mensuráveis em todas as métricas. A execução de referência em BF16 leva 3,00 segundos e consome 31,1 GB de memória de vídeo; no formato NVFP4, o tempo cai para 2,27 segundos e o consumo para 20,6 GB.

• BF16 (referência): 3,00 s, 31,1 GB de memória — aceleração de 1,0x
• NVFP4: 2,27 s, 20,6 GB — aceleração de 1,35x
• NVFP4 + torch.compile: 1,68 s, 20,6 GB — aceleração de 1,8x
• NVFP4 + codificador de texto NF4: 2,29 s, 16,0 GB de memória
• Modelo ERNIE-Image-Turbo: 1024×1024 em ~1,7 s na RTX 5090 (~12 GB contra ~24 GB em BF16)

A combinação com o `torch.compile` acelera a geração em até 1,8 vez, e a troca do codificador de texto por NF4 derruba o pico de memória para 16,0 GB — o suficiente para rodar modelos pesados em placas de consumo.

Quais hardwares e modelos são compatíveis

O Nunchaku Lite funciona na maioria das placas NVIDIA modernas, mas o esquema de quantização depende da arquitetura. O formato NVFP4 via kernel `svdq_w4a4` exige Blackwell (RTX 50, RTX PRO 6000, B200); em Turing, Ampere e Ada (RTX 30/40, A100, L40S), é usado INT4. As arquiteturas Volta e Hopper não são suportadas — o validador exibe uma mensagem de erro clara já no carregamento.

Os modelos prontos para uso já estão publicados na organização lite-infer no Hugging Face Hub: ERNIE-Image-Turbo (nas variantes INT4 e NVFP4), Krea 2 Turbo (NVFP4) e FLUX.2 Klein 4B. Para quem quiser quantizar seus próprios modelos, a equipe lançou o conjunto de ferramentas diffuse-compressor, que inspeciona o modelo, executa a calibração do SVDQuant, monta o pipeline do Diffusers e publica o resultado no Hub.

O que isso significa

A inferência em 4 bits deixa de ser domínio de forks isolados e chega à principal biblioteca de geração de imagens. Os desenvolvedores passam a contar com metade do consumo de VRAM e um ganho de velocidade perceptível com praticamente uma linha de código — o que torna modelos de difusão de ponta acessíveis em placas de vídeo gamer comuns.

Perguntas frequentes

Em quais placas de vídeo o Nunchaku Lite funciona?

O formato NVFP4 exige placas Blackwell — RTX 50, RTX PRO 6000 ou B200. Nas RTX 30/40, A100 e L40S, funciona o esquema INT4. As arquiteturas Volta e Hopper não são suportadas de forma alguma.

Quanto menos memória de vídeo é necessária?

Na RTX PRO 6000, o pico de VRAM cai de 31,1 GB em BF16 para 20,6 GB em NVFP4 e, com o codificador de texto NF4, para 16,0 GB, ou seja, quase metade.