Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РелизОткрытые веса · В работуHabr AI→ оригинал

KandiShop без дообучения поднял сходство ИИ-лиц с оригиналом с 52% до 75%

Нейросеть ставит человека с фото в новую сцену, но лицо выходит «почти тем», а надпись на банке — кашей из псевдобукв. KandiShop от AIRI чинит готовый кадр без дообучения: перерисовывает лицо или этикетку по референсу, остальное не трогает. Сходство лиц у FLUX.2 klein 9B по ArcFace выросло с 52% до 75%, точность чтения текста — с 76% до 84%. Это готовый шаг постобработки для любой модели.

AI-обработка оригинала Habr AI; редакция Hamidun News
KandiShop без дообучения поднял сходство ИИ-лиц с оригиналом с 52% до 75%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Лица Nano Banana Pro после обработкисходство с 57% до 76%
Ключевой факт #2Открытый код есть для FLUX.2 klein 9B, веса модели не меняются
Ключевой факт #3Семь VLM-судей сочли замену головы естественнее в 76% случаев

Вы загружаете в генератор фото человека и просите поместить его в заснеженный лес — получается красивый кадр, но друзья говорят: «Похоже, но это не ты». С товарами та же беда: логотип и цвета банки на месте, а мелкая надпись на этикетке превращается в набор закорючек. Команда AIRI предложила метод KandiShop, который исправляет именно это уже после генерации и без дообучения модели. Главная метрика — ArcFace, нейросеть для распознавания лиц, которая оценивает сходство двух снимков (100% — тот же человек): у FLUX.2 klein 9B она выросла с 52% до 75%. Для разработчиков фотосессий, рекламы и интернет-магазинов это способ сделать результат узнаваемым и читаемым, не меняя основной генератор.

Модель умеет копировать, но ей мешает творчество

Современные in-context модели (FLUX.2, Qwen-Image-Edit, HunyuanImage 3, а также коммерческие Nano Banana и GPT Image) берут фото и текстовый запрос и сразу рисуют результат. Раньше для этого модель дообучали на десятке фотографий человека (DreamBooth, LoRA) или подключали отдельный энкодер лица. Теперь хватает одного снимка, но точность страдает: цвет волос и овал лица сохраняются, а форма глаз, носа и лёгкая асимметрия плывут.

Причина в том, что за один проход модель решает две задачи, которые тянут в разные стороны: придумать позу, свет и композицию — и перенести каждую черту лица и каждую букву. Когда приходится выбирать, жертвуется вторая. Авторы проверили, что дело не в нехватке «памяти»: на запрос «сделай точную копию» сходство лиц по ArcFace составило 96,5–97,1%, а текст на упаковках распознавался с точностью (OCR F1) до 92%. Но в новой сцене с несколькими людьми сходство падает до 24–60%. Вывод: задачи нужно развести.

Как устроен KandiShop

Метод работает после генерации. На входе готовая картинка и фото-референс, на выходе та же картинка с исправленным лицом или этикеткой. Веса модели не трогают — меняют только путь, по которому она превращает шум в изображение.

Сначала вокруг лица или товара вырезают крупный фрагмент: в целом кадре лицо занимает всего 5–10% токенов, и правку «перекрикивает» фон. Затем референс выравнивают под фрагмент: для лиц по пяти ключевым точкам (глаза, нос, уголки рта), для товаров через детектор Grounding DINO, сегментацию SAM и сопоставление точек SIFT. После этого фрагмент расшумляют двумя потоками в одном трансформере. Первый видит исходный кроп и держит позу, фон и свет. Второй видит выровненный референс и «знает», как выглядят лицо или буквы. После каждого блока потоки смешиваются по маске объекта, поэтому следующие блоки подстраивают лицо под сцену.

Чтобы лицо не приезжало со светом референса (например, тёплым домашним в холодном тумане), внутри маски цвет и контраст его признаков подгоняют под сцену — приём AdaIN. Для товаров его отключают: он смазывает мелкий текст. Главная ручка — denoise, доля пути расшумления, которую проходят заново: 0,5–0,75 для большинства случаев, 1,0 для полной замены головы или товара. Готовый фрагмент вклеивают обратно, остальной кадр остаётся пиксель в пиксель.

Что показали замеры

На 100 лицах из FFHQ в сценах с несколькими людьми сходство у FLUX.2 klein 9B выросло с 52% до 75%. У Qwen-Image-Edit рост заметнее — с 24% до 66%, у HunyuanImage 3.0 — с 49% до 84%. Для сравнения: Nano Banana Pro даёт 57%, GPT Image 2 High — 86%. Оценка общего качества картинки (HPSv3) почти не меняется, то есть кадр не портится.

С товарами проверяли 32 упаковки в 320 сценах. У FLUX.2 klein 9B точность чтения текста выросла с 76% до 84%, а доля ошибочных символов (CER) упала с 65% до 51%. Это лучше, чем у GPT Image 2 High (82%) и Nano Banana Pro (78%).

Метод не привязан к своему генератору. Картинки Nano Banana Pro прогнали через KandiShop на FLUX.2 klein 9B: сходство лиц выросло с 57% до 76%, точность текста — с 78% до 83%. В слепом сравнении семь VLM-судей назвали замену головы или товара через KandiShop более естественной в 76% случаев против «нативной» замены.

Оговорки и практический вывод

Лица из FFHQ могли попасть в обучающие данные моделей, так что на новых людях цифры могут отличаться. Метод требует дополнительных детекторов и второго прохода по каждому фрагменту, а если кроп и референс плохо выравниваются, результат страдает. В открытом коде пока только версия для FLUX.2 klein 9B.

Практический вывод: вместо дообучения LoRA на каждого пользователя можно добавить шаг постобработки, который чинит лица и этикетки после любой модели, включая коммерческие API.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: модель умеет копировать, но ей мешает творчество?

Современные in-context модели (FLUX.2, Qwen-Image-Edit, HunyuanImage 3, а также коммерческие Nano Banana и GPT Image) берут фото и текстовый запрос и сразу рисуют результат. Раньше для этого модель дообучали на десятке фотографий человека (DreamBooth, LoRA) или подключали отдельный энкодер лица. Теперь хватает одного снимка, но точность страдает: цвет волос и овал лица сохраняются, а форма глаз, носа и лёгкая асимметрия плывут.

Что известно по теме: как устроен KandiShop?

Метод работает после генерации. На входе готовая картинка и фото-референс, на выходе та же картинка с исправленным лицом или этикеткой. Веса модели не трогают — меняют только путь, по которому она превращает шум в изображение. Сначала вокруг лица или товара вырезают крупный фрагмент: в целом кадре лицо занимает всего 5–10% токенов, и правку «перекрикивает» фон.

Что известно по теме: что показали замеры?

На 100 лицах из FFHQ в сценах с несколькими людьми сходство у FLUX.2 klein 9B выросло с 52% до 75%. У Qwen-Image-Edit рост заметнее — с 24% до 66%, у HunyuanImage 3.0 — с 49% до 84%. Для сравнения: Nano Banana Pro даёт 57%, GPT Image 2 High — 86%. Оценка общего качества картинки (HPSv3) почти не меняется, то есть кадр не портится. С товарами проверяли 32 упаковки в 320 сценах. У FLUX.2 klein 9B точность чтения текста выросла с 76% до 84%, а доля ошибочных символов (CER) упала с 65% до 51%.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…