Qwen-Image 2.1 Omni cabe em 4 GB de VRAM e quase nao perde velocidade

Se voce ja executou geracao de imagens localmente, conhece o problema tipico: e preciso um modelo para criar imagens e outro para edita-las, e os dois juntos nao cabem na memoria de video de uma placa comum. A ChatR Labs esta tentando resolver os dois problemas de uma vez. A empresa lancou o Omni, um adaptador LoRA para o Qwen-Image-2.1, junto com um conjunto de versoes quantizadas, sendo que a mais leve ocupa cerca de 4 GB.

O que ha por dentro

O Omni e um unico adaptador de rank 128 aplicado a 224 modulos, e o proprio adaptador pesa 671 MB. Ele ensina duas tarefas simultaneamente ao modelo base: criar imagens do zero a partir de texto e editar uma imagem pronta com base em uma instrucao. Nao e preciso trocar os pesos entre os modos. Ele preserva tudo o que torna o modelo base valorizado: DiT de 7B, resolucao nativa de 2K, transparencia RGBA e tipografia aprimorada.

O playground aceita ate tres imagens de referencia, embora o Qwen-Image-2.1 base trabalhe com dez. Se voce precisar de uma versao com multiplas referencias, tera de executa-la localmente e fazer seus proprios testes. O rotulo "Uncensored" tambem deve ser interpretado com cuidado: os filtros foram afrouxados, e a responsabilidade pelo uso recai sobre voce e seu produto.

Quanto custa em memoria e tempo

Os numeros sao a parte mais interessante. O autor da publicacao fez as medicoes em uma RTX 5090, com resolucao de 768x1152 e 35 etapas:

• BF16: cerca de 14 GB de VRAM, aproximadamente 28 segundos
• Q5_K_M: cerca de 8 GB, os mesmos 28 segundos
• NVFP4: cerca de 4 GB, aproximadamente 30 segundos

Ou seja, a quantizacao quase nao afeta a velocidade. O preco e pago na qualidade da imagem, e o impacto exato depende das cenas geradas. A linha de versoes e ampla: Q4_0 com 4,20 GB, Q4_K_M com 4,47 GB, Q5_K_M com 5,21 GB, Q6_K com 6,00 GB, Q8_0 com 7,69 GB, FP8 com 7,12 GB e BF16 com 14,23 GB. Para o ComfyUI, ha versoes FP8 e NVFP4 separadas.

E preciso fazer uma ressalva: as medicoes foram realizadas em uma 5090 topo de linha e apresentadas por um unico autor. O NVFP4 conta com aceleracao por hardware na arquitetura Blackwell, portanto o tempo sera diferente em placas mais antigas. Nao trate a tabela como garantia de desempenho para o seu hardware.

Configuracoes e armadilhas

Os parametros recomendados sao 35 etapas, true CFG 5.0, sampler er_sde com scheduler simple, resolucao de 1024x1024 e KV cache ativado. Ha um detalhe pouco obvio no prompt negativo: ele deve conter um unico espaco. Se for deixado vazio, o true CFG simplesmente e desativado e o resultado fica visivelmente pior, sem que nenhum erro seja exibido.

A segunda armadilha envolve os arquivos. As versoes para ComfyUI e Diffusers nao sao intercambiaveis: elas possuem 265 e 297 tensores, respectivamente. Se voce usar o formato errado, o modelo nao sera carregado. Basta baixar o transformer; o codificador de texto e o VAE sao obtidos do Qwen-Image-2.1 base.

O que fazer com isso

Se voce tem uma placa com 6–8 GB de VRAM, esta e uma oportunidade de experimentar geracao e edicao local de imagens sem nuvem e sem pagar por solicitacao. Para um produto, e uma forma de criar um prototipo de edicao de imagens dentro da propria infraestrutura, sem que os dados saiam do ambiente. Primeiro, teste a qualidade nas suas tarefas tipicas usando o playground: ele funciona sem conta, embora a fila rode em duas 4090 e possa ser longa.

Depois, escolha uma quantizacao que caiba na sua memoria. O adaptador ainda esta na versao v0.1, portanto, para producao, ele e mais uma base para experimentos do que uma solucao pronta.

E nao deixe de verificar a licenca do modelo base e os riscos juridicos de um modelo "sem censura" antes de disponibiliza-lo aos usuarios.