Qwen-Image 2.1 Omni tient dans 4 Go de VRAM sans presque rien perdre en vitesse

Si vous avez déjà déployé un générateur d’images en local, vous connaissez le problème classique : il faut un modèle pour créer les images, un autre pour les retoucher, et l’ensemble ne tient pas dans la mémoire vidéo d’une carte graphique ordinaire. ChatR Labs tente de résoudre ces deux difficultés à la fois. L’équipe a publié Omni, un adaptateur LoRA pour Qwen-Image-2.1, ainsi qu’une série de versions quantifiées dont la plus légère occupe environ 4 Go.

Ce qu’il contient

Omni est un adaptateur unique de rang 128 appliqué à 224 modules et pesant à lui seul 671 Mo. Il apprend simultanément deux tâches au modèle de base : générer une image à partir de zéro depuis un texte et modifier une image existante selon une instruction. Il n’est pas nécessaire de changer de poids entre les deux modes. Le modèle conserve tous les atouts appréciés de la base : un DiT 7B, une résolution native 2K, la transparence RGBA et une typographie améliorée.

Le playground accepte jusqu’à trois images de référence, même si le modèle Qwen-Image-2.1 de base en prend en charge dix. Si vous avez besoin d’une configuration à références multiples, il faudra l’exécuter en local et la tester vous-même. Il convient également d’interpréter avec prudence la mention « Uncensored » : les filtres sont assouplis, et la responsabilité de l’utilisation repose sur vous et votre produit.

Coût en mémoire et en temps

Les chiffres sont ici l’élément le plus intéressant. L’auteur de la publication a effectué ses mesures sur une RTX 5090, avec une résolution de 768x1152 et 35 étapes :

• BF16 : environ 14 Go de VRAM, approximativement 28 secondes
• Q5_K_M : environ 8 Go, les mêmes 28 secondes
• NVFP4 : environ 4 Go, approximativement 30 secondes

Autrement dit, la quantification n’a presque aucun effet sur la vitesse. La contrepartie concerne la qualité d’image, et son ampleur dépend des scènes que vous générez. La gamme de versions est étendue : Q4_0 à 4,20 Go, Q4_K_M à 4,47 Go, Q5_K_M à 5,21 Go, Q6_K à 6,00 Go, Q8_0 à 7,69 Go, FP8 à 7,12 Go et BF16 à 14,23 Go. Des versions FP8 et NVFP4 distinctes sont proposées pour ComfyUI.

Une réserve s’impose : les mesures ont été réalisées sur une 5090 haut de gamme et publiées par un seul auteur. NVFP4 bénéficie d’une accélération matérielle sur l’architecture Blackwell ; les temps seront donc différents sur les cartes plus anciennes. Il ne faut pas considérer ce tableau comme une garantie pour votre propre matériel.

Réglages et pièges

Les paramètres recommandés sont les suivants : 35 étapes, true CFG à 5.0, sampler er_sde avec scheduler simple, résolution de 1024×1024 et KV cache activé. Le prompt négatif présente une subtilité peu évidente : il doit contenir un unique espace. S’il est totalement vide, true CFG se désactive simplement et le résultat devient sensiblement moins bon, sans qu’aucune erreur ne soit signalée.

Le deuxième piège concerne les fichiers. Les versions destinées à ComfyUI et à Diffusers ne sont pas interchangeables : elles contiennent respectivement 265 et 297 tenseurs. Si vous choisissez le mauvais format, le modèle ne se chargera pas. Seul le transformeur doit être téléchargé ; l’encodeur de texte et le VAE proviennent du modèle Qwen-Image-2.1 de base.

Comment l’utiliser

Si votre carte graphique dispose de 6 à 8 Go, c’est une occasion de tester localement la génération et la retouche d’images, sans cloud ni paiement pour chaque requête. Pour un produit, cela permet de prototyper la retouche d’images au sein de votre propre infrastructure, sans que les données en sortent. Commencez par évaluer la qualité sur vos cas d’usage habituels dans le playground : il fonctionne sans compte, mais la file d’attente repose sur deux 4090 et peut être longue.

Choisissez ensuite une quantification adaptée à votre mémoire. L’adaptateur n’en est encore qu’à la version v0.1 : pour la production, il s’agit donc davantage d’une base d’expérimentation que d’une solution prête à l’emploi.

Enfin, vérifiez impérativement la licence du modèle de base ainsi que les risques juridiques liés à un modèle « non censuré » avant de le proposer à vos utilisateurs.