Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизAPI / Продукт · В работуHabr AI→ оригинал

sd.cpp вместо Forge Neo: девять моделей на видеокарте 16 ГБ рисуют за 5–68 секунд

Автор заменил Python-интерфейс Forge Neo на sd.cpp — один C++-файл для запуска моделей — и сравнил девять генераторов картинок на RTX 4070 Ti SUPER с 16 ГБ видеопамяти. Z-Image Turbo рисует кадр 1024×1024 за 5 секунд и пишет русские надписи, а Moss, лучший по людям, тратит 68 секунд. Кнопка «Быстро» ускоряет медленные модели в 1,5–2,4 раза, но на сложных сценах картинка мылится. Для скорости берите Z-Image Turbo, для людей и текста — Moss.

AI-обработка оригинала Habr AI; редакция Hamidun News
sd.cpp вместо Forge Neo: девять моделей на видеокарте 16 ГБ рисуют за 5–68 секунд
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Быстрый режимMoss 68→28 с, Qwen-Image 30→16 с, Chroma 60→40 с
Ключевой факт #2Кириллицу не пишут Flux.1 dev, Chroma1-HD и Anima
Ключевой факт #3Версия на 8 ГБ обычно считает столько же, сколько на 16 ГБ

Если вы запускали генерацию картинок на своей видеокарте, то знаете проблему: Stable Diffusion Forge Neo и ComfyUI — это огромные Python-приложения с гигабайтами PyTorch и пакетов. После очередного обновления что-то ломается, а дополнения конфликтуют друг с другом. Автор статьи на Habr ушёл от этого: он перевёл своё приложение Imagecaster на stable-diffusion.

cpp (сокращённо sd.cpp) — это один исполняемый файл на C++, без Python. Затем он прогнал девять моделей на домашней RTX 4070 Ti SUPER с 16 ГБ видеопамяти.

Цифры в заголовке — это секунды на одну картинку 1024×1024: самая быстрая модель, Z-Image Turbo, справляется за 5 секунд, самая медленная, Moss, — за 68. А «16 ГБ» и «8 ГБ» — это два варианта одной модели с разной степенью сжатия весов (квантованием): первый рассчитан на карту с 16 ГБ памяти, второй — на карту с 8 ГБ. Для практики вывод простой: если вам нужна скорость, берите одну модель, если качество людей и точный текст на русском — другую, и обе можно запускать без возни с Python.

Почему sd.cpp, а не Forge и ComfyUI

Сервер приложения прошёл путь A1111, затем Forge, затем Forge Neo, и теперь работает на sd.cpp. Модели берутся в формате GGUF: у одной модели есть несколько уровней сжатия, так что можно выбрать файл под объём своей видеопамяти. Есть сборки для AMD и Intel (через Vulkan) и для Mac на Apple Silicon (через Metal), сервер выбирает нужную сам. Но автор проверял только на NVIDIA.

Заодно он отказался от Ollama: сервер теперь работает напрямую с llama.cpp, а скачивание и выгрузку моделей автор сделал в самом сервере. У подхода есть минусы: новые модели в sd.cpp появляются позже, чем в ComfyUI, а fp8-файлы из ComfyUI он понимает не всегда. С HiDream поэтому пришлось взять полную версию.

Тест шёл так: пять сложных промптов (часовщик с запиской «Вернусь в 13:60», музыканты на питерской крыше, город внутри дуба, аниме «Опаздываю!», дача 1998 года), по четыре seed на каждую версию модели. Время — только сама генерация, без загрузки модели, среднее по 20 картинкам.

Девять моделей: скорость и русские надписи

Z-Image Turbo — 5 секунд за 8 шагов, фотореализм, русский текст без ошибок. Версия на 8 ГБ (3,9 ГБ) считает так же быстро, как версия на 16 ГБ (6,6 ГБ).

Flux.3 Klein — 8 секунд, промпт обычным текстом, по-русски пишет правильно. Версия на 8 ГБ весит 3,5 ГБ и не уступает по скорости.

Krea-2 Turbo — эстетичные фото за 8 шагов и 11 секунд, русские надписи тоже правильные.

Anima — модель для аниме и иллюстраций, понимает и теги danbooru, и обычные фразы. 19 секунд на картинку, одна версия на 4,2 ГБ подходит и для 8, и для 16 ГБ. Фото и надписи — не её задача.

Flux.1 dev — классика, хорошо следует описанию, но вместо кириллицы рисует буквоподобные каракули. 25 секунд на 16 ГБ.

Qwen-Image 2.1 — точно следует промпту и читаемо пишет текст, в том числе по-русски. Единственная из девяти работает с CFG 6, поэтому учитывает негативный промпт (список того, чего на картинке быть не должно). 30 секунд, в быстром режиме 16.

HiDream-O1 dev — всё выходит в стиле рисунка, поэтому автор показывает на ней аниме. Крупные надписи получаются, мелкие превращаются в каракули. Рабочая версия bf16 весит 16,4 ГБ и целиком в 16 ГБ видеопамяти не помещается: часть весов лежит в оперативной памяти, на картинку уходит 30 секунд. Версия fp8 в sd.cpp сработала криво: игнорировала промпт и добавляла артефакты.

Chroma1-HD — открытая модель на 8,9 млрд параметров на основе FLUX.1 schnell. Её ценят за лицензию Apache 2.0 (у Flux.1 dev лицензия некоммерческая), отсутствие фильтра безопасности и настоящий CFG с негативным промптом. Сильная сторона — плёночная кинематографичная картинка. Минусы: 60 секунд на картинку и каракули вместо русских букв.

Moss (OpenMOSS, 5 млрд параметров) — фаворит автора: лучше всех рисует людей, точно следует описанию, правильно пишет по-русски. Цена — время: 50 шагов и 68 секунд на картинку.

Быстрый режим и что с ним не так

Кнопка «Быстро» включает кэш шагов: движок переиспользует вычисления соседних шагов, а не считает каждый заново. Режим доступен для четырёх медленных моделей: Moss и Chroma (dbcache), Qwen-Image и Flux.1 (easycache). Ускорение — от 1,5 раза у Chroma до 2,4 раза у Moss: например, Moss сокращается с 68 до 28 секунд, Qwen-Image — с 30 до 16. У Moss и Qwen-Image при том же seed сцена почти не меняется, меняются детали, а Chroma заметно перестраивает кадр.

Бесплатным ускорение не бывает. На простой картинке в небольшом разрешении разницу почти не видно. На сложной сцене и в большом разрешении изображение похоже на пережатый JPEG, а сложные места превращаются в «кашу». Поэтому включать режим везде не стоит: подходит он или нет, видно только по результату.

Второе наблюдение: квантование экономит видеопамять, а не время. У большинства моделей версия на 8 ГБ считает столько же, сколько версия на 16 ГБ. Автор мерил обе на карте с 16 ГБ, но причин, по которым они не заработают на 8 ГБ, не видит. Если памяти не хватит, сервер переложит часть модели в оперативную, и будет медленнее.

Что выбрать

Нужны скорость и русский текст — Z-Image Turbo или Flux.3 Klein. Красивые фото — Krea-2 Turbo. Точность и надписи за умеренное время — Qwen-Image. Люди и максимум качества — Moss. Аниме — Anima. Оценки субъективны: автор прямо говорит, что Flux.1 и Chroma ему просто не нравятся. Но кириллицу не пишет ни одна из них — это стоит учесть, если вы делаете продукт для русскоязычных пользователей.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему sd.cpp, а не Forge и ComfyUI?

Сервер приложения прошёл путь A1111, затем Forge, затем Forge Neo, и теперь работает на sd.cpp. Модели берутся в формате GGUF: у одной модели есть несколько уровней сжатия, так что можно выбрать файл под объём своей видеопамяти. Есть сборки для AMD и Intel (через Vulkan) и для Mac на Apple Silicon (через Metal), сервер выбирает нужную сам. Но автор проверял только на NVIDIA. Заодно он отказался от Ollama: сервер теперь работает напрямую с llama.cpp, а скачивание и выгрузку моделей автор сделал в самом сервере.

Что известно по теме: девять моделей: скорость и русские надписи?

Z-Image Turbo — 5 секунд за 8 шагов, фотореализм, русский текст без ошибок. Версия на 8 ГБ (3,9 ГБ) считает так же быстро, как версия на 16 ГБ (6,6 ГБ). Flux.3 Klein — 8 секунд, промпт обычным текстом, по-русски пишет правильно. Версия на 8 ГБ весит 3,5 ГБ и не уступает по скорости. Krea-2 Turbo — эстетичные фото за 8 шагов и 11 секунд, русские надписи тоже правильные. Anima — модель для аниме и иллюстраций, понимает и теги danbooru, и обычные фразы.

Что известно по теме: быстрый режим и что с ним не так?

Кнопка «Быстро» включает кэш шагов: движок переиспользует вычисления соседних шагов, а не считает каждый заново. Режим доступен для четырёх медленных моделей: Moss и Chroma (dbcache), Qwen-Image и Flux.1 (easycache). Ускорение — от 1,5 раза у Chroma до 2,4 раза у Moss: например, Moss сокращается с 68 до 28 секунд, Qwen-Image — с 30 до 16. У Moss и Qwen-Image при том же seed сцена почти не меняется, меняются детали, а Chroma заметно перестраивает кадр. Бесплатным ускорение не бывает.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…