Qwen-Image 2.1 Omni влез в 4 ГБ VRAM и почти не потерял в скорости

Если вы хоть раз разворачивали генерацию картинок у себя, то знаете типичную боль: для создания изображений нужна одна модель, для правки другая, а всё это вместе не помещается в видеопамять нормальной карточки. ChatR Labs пробуют закрыть сразу обе проблемы. Они выпустили Omni, LoRA-адаптер для Qwen-Image-2.1, и набор квантованных сборок, самая лёгкая из которых занимает около 4 ГБ.

Что внутри

Omni — это один адаптер ранга 128 на 224 модуля, сам по себе он весит 671 МБ. Он учит базовую модель двум задачам одновременно: рисовать с нуля по тексту и редактировать готовую картинку по инструкции. Переключать веса между режимами не нужно. От базы остаётся всё, за что её ценят: 7B DiT, нативное разрешение 2K, прозрачность RGBA и улучшенная типографика.

В плейграунде можно подать до трёх референсов, хотя сама база Qwen-Image-2.1 работает с десятью. Если вам нужна многореференсная сборка, придётся запускать локально и проверять самим. Название «Uncensored» тоже стоит читать внимательно: фильтры ослаблены, и ответственность за использование ложится на вас и ваш продукт.

Сколько это стоит по памяти и времени

Самое интересное здесь цифры. Автор поста измерял на RTX 5090 при 768x1152 и 35 шагах:

• BF16: около 14 ГБ VRAM, примерно 28 секунд
• Q5_K_M: около 8 ГБ, те же 28 секунд
• NVFP4: около 4 ГБ, около 30 секунд

То есть квантование почти не бьёт по скорости. Платить приходится качеством картинки, и насколько именно, зависит от ваших сюжетов. Линейка сборок широкая: Q4_0 на 4,20 ГБ, Q4_K_M на 4,47 ГБ, Q5_K_M на 5,21 ГБ, Q6_K на 6,00 ГБ, Q8_0 на 7,69 ГБ, FP8 на 7,12 ГБ и BF16 на 14,23 ГБ. Для ComfyUI отдельно есть FP8 и NVFP4.

Нужно оговориться: замеры сделаны на топовой 5090 и приведены одним автором. NVFP4 аппаратно ускоряется на архитектуре Blackwell, поэтому на старых картах время будет другим. Доверять таблице как гарантии для своего железа не стоит.

Настройки и подводные камни

Рекомендованные параметры: 35 шагов, true CFG 5.0, сэмплер er_sde со scheduler simple, разрешение 1024×1024 и включённый KV cache. Есть неочевидная деталь с негативным промптом: он должен быть одним пробелом. Если оставить его пустым, true CFG просто отключается, и результат будет заметно хуже, причём без всяких ошибок.

Вторая ловушка касается файлов. Сборки для ComfyUI и Diffusers не взаимозаменяемы: у них 265 и 297 тензоров соответственно. Перепутаете формат, и модель не загрузится. Скачивать нужно только трансформер, а текстовый энкодер и VAE берутся из базовой Qwen-Image-2.1.

Что с этим делать

Если у вас карточка на 6–8 ГБ, это повод попробовать локальную генерацию и правку без облака и без оплаты за каждый запрос. Для продакта это способ прототипировать редактирование изображений внутри собственного контура, где данные не уходят наружу. Сначала проверьте качество на своих типовых задачах в плейграунде: он работает без аккаунта, хотя очередь стоит на двух 4090 и может быть длинной. Затем выберите квант, который укладывается в вашу память. Версия адаптера пока v0.1, так что для продакшена это скорее заготовка для экспериментов, чем готовое решение. И обязательно проверьте лицензию базы и юридические риски «неотцензурированной» модели до того, как показывать её пользователям.