Qwen-Image 2.1 Omni cabe en 4 GB de VRAM y apenas pierde velocidad

Si alguna vez has desplegado generacion de imagenes en local, conoces el problema habitual: hace falta un modelo para crear imagenes y otro para editarlas, y ambos juntos no caben en la memoria de video de una tarjeta grafica normal. ChatR Labs intenta resolver los dos problemas a la vez. Ha publicado Omni, un adaptador LoRA para Qwen-Image-2.1, junto con un conjunto de compilaciones cuantizadas, la mas ligera de las cuales ocupa unos 4 GB.

Que contiene

Omni es un unico adaptador de rango 128 aplicado a 224 modulos, y el propio adaptador pesa 671 MB. Ensena al modelo base dos tareas simultaneamente: generar imagenes desde cero a partir de texto y editar una imagen existente siguiendo una instruccion. No es necesario cambiar los pesos entre modos. Conserva todo aquello por lo que se valora el modelo base: un DiT de 7B, resolucion nativa de 2K, transparencia RGBA y tipografia mejorada.

El playground permite proporcionar hasta tres imagenes de referencia, aunque el modelo base Qwen-Image-2.1 admite diez. Si necesitas una configuracion con multiples referencias, tendras que ejecutarla en local y comprobarla por tu cuenta. Tambien conviene interpretar con cuidado la etiqueta "Uncensored": los filtros se han relajado y la responsabilidad sobre su uso recae en ti y en tu producto.

Cuanto cuesta en memoria y tiempo

Lo mas interesante son las cifras. El autor de la publicacion hizo las mediciones en una RTX 5090, a 768x1152 y con 35 pasos:

• BF16: unos 14 GB de VRAM, aproximadamente 28 segundos
• Q5_K_M: unos 8 GB, los mismos 28 segundos
• NVFP4: unos 4 GB, alrededor de 30 segundos

Es decir, la cuantizacion apenas penaliza la velocidad. El precio se paga en calidad de imagen, y la magnitud exacta depende de las escenas que generes. La gama de compilaciones es amplia: Q4_0 con 4,20 GB, Q4_K_M con 4,47 GB, Q5_K_M con 5,21 GB, Q6_K con 6,00 GB, Q8_0 con 7,69 GB, FP8 con 7,12 GB y BF16 con 14,23 GB. Para ComfyUI hay versiones FP8 y NVFP4 independientes.

Hay que hacer una salvedad: las mediciones se realizaron en una 5090 de gama alta y proceden de un solo autor. NVFP4 cuenta con aceleracion por hardware en la arquitectura Blackwell, por lo que los tiempos seran distintos en tarjetas mas antiguas. No conviene interpretar la tabla como una garantia de rendimiento para tu propio hardware.

Ajustes y dificultades

Los parametros recomendados son 35 pasos, true CFG 5.0, el sampler er_sde con el scheduler simple, resolucion de 1024x1024 y KV cache activada. Hay un detalle poco evidente relacionado con el prompt negativo: debe contener un unico espacio. Si se deja vacio, true CFG simplemente se desactiva y el resultado empeora de forma perceptible, sin que aparezca ningun error.

La segunda trampa esta en los archivos. Las compilaciones para ComfyUI y Diffusers no son intercambiables: contienen 265 y 297 tensores, respectivamente. Si confundes el formato, el modelo no se cargara. Solo es necesario descargar el transformer; el codificador de texto y el VAE se toman del modelo base Qwen-Image-2.1.

Que hacer con el modelo

Si tienes una tarjeta con 6–8 GB de VRAM, esta es una oportunidad para probar la generacion y edicion local de imagenes sin recurrir a la nube ni pagar por cada solicitud. Para un producto, permite crear un prototipo de edicion de imagenes dentro de tu propia infraestructura, sin que los datos salgan al exterior. Empieza comprobando la calidad con tus tareas habituales en el playground: funciona sin cuenta, aunque la cola se ejecuta sobre dos 4090 y puede ser larga.

Despues, elige una cuantizacion que quepa en tu memoria. El adaptador sigue en la version v0.1, de modo que, de cara a produccion, es mas una base para experimentar que una solucion terminada.

Y no olvides revisar la licencia del modelo base y los riesgos juridicos de un modelo "sin censura" antes de ponerlo a disposicion de los usuarios.