KandiShop без дообучения поднял сходство ИИ-лиц с оригиналом с 52% до 75%
Нейросеть ставит человека с фото в новую сцену, но лицо выходит «почти тем», а надпись на банке — кашей из псевдобукв. KandiShop от AIRI чинит готовый кадр без дообучения: перерисовывает лицо или этикетку по референсу, остальное не трогает. Сходство лиц у FLUX.2 klein 9B по ArcFace выросло с 52% до 75%, точность чтения текста — с 76% до 84%. Это готовый шаг постобработки для любой модели.
AI-обработка оригинала Habr AI; редакция Hamidun News
Вы загружаете в генератор фото человека и просите поместить его в заснеженный лес — получается красивый кадр, но друзья говорят: «Похоже, но это не ты». С товарами та же беда: логотип и цвета банки на месте, а мелкая надпись на этикетке превращается в набор закорючек. Команда AIRI предложила метод KandiShop, который исправляет именно это уже после генерации и без дообучения модели. Главная метрика — ArcFace, нейросеть для распознавания лиц, которая оценивает сходство двух снимков (100% — тот же человек): у FLUX.2 klein 9B она выросла с 52% до 75%. Для разработчиков фотосессий, рекламы и интернет-магазинов это способ сделать результат узнаваемым и читаемым, не меняя основной генератор.
Модель умеет копировать, но ей мешает творчество
Современные in-context модели (FLUX.2, Qwen-Image-Edit, HunyuanImage 3, а также коммерческие Nano Banana и GPT Image) берут фото и текстовый запрос и сразу рисуют результат. Раньше для этого модель дообучали на десятке фотографий человека (DreamBooth, LoRA) или подключали отдельный энкодер лица. Теперь хватает одного снимка, но точность страдает: цвет волос и овал лица сохраняются, а форма глаз, носа и лёгкая асимметрия плывут.
Причина в том, что за один проход модель решает две задачи, которые тянут в разные стороны: придумать позу, свет и композицию — и перенести каждую черту лица и каждую букву. Когда приходится выбирать, жертвуется вторая. Авторы проверили, что дело не в нехватке «памяти»: на запрос «сделай точную копию» сходство лиц по ArcFace составило 96,5–97,1%, а текст на упаковках распознавался с точностью (OCR F1) до 92%. Но в новой сцене с несколькими людьми сходство падает до 24–60%. Вывод: задачи нужно развести.
Как устроен KandiShop
Метод работает после генерации. На входе готовая картинка и фото-референс, на выходе та же картинка с исправленным лицом или этикеткой. Веса модели не трогают — меняют только путь, по которому она превращает шум в изображение.
Сначала вокруг лица или товара вырезают крупный фрагмент: в целом кадре лицо занимает всего 5–10% токенов, и правку «перекрикивает» фон. Затем референс выравнивают под фрагмент: для лиц по пяти ключевым точкам (глаза, нос, уголки рта), для товаров через детектор Grounding DINO, сегментацию SAM и сопоставление точек SIFT. После этого фрагмент расшумляют двумя потоками в одном трансформере. Первый видит исходный кроп и держит позу, фон и свет. Второй видит выровненный референс и «знает», как выглядят лицо или буквы. После каждого блока потоки смешиваются по маске объекта, поэтому следующие блоки подстраивают лицо под сцену.
Чтобы лицо не приезжало со светом референса (например, тёплым домашним в холодном тумане), внутри маски цвет и контраст его признаков подгоняют под сцену — приём AdaIN. Для товаров его отключают: он смазывает мелкий текст. Главная ручка — denoise, доля пути расшумления, которую проходят заново: 0,5–0,75 для большинства случаев, 1,0 для полной замены головы или товара. Готовый фрагмент вклеивают обратно, остальной кадр остаётся пиксель в пиксель.
Что показали замеры
На 100 лицах из FFHQ в сценах с несколькими людьми сходство у FLUX.2 klein 9B выросло с 52% до 75%. У Qwen-Image-Edit рост заметнее — с 24% до 66%, у HunyuanImage 3.0 — с 49% до 84%. Для сравнения: Nano Banana Pro даёт 57%, GPT Image 2 High — 86%. Оценка общего качества картинки (HPSv3) почти не меняется, то есть кадр не портится.
С товарами проверяли 32 упаковки в 320 сценах. У FLUX.2 klein 9B точность чтения текста выросла с 76% до 84%, а доля ошибочных символов (CER) упала с 65% до 51%. Это лучше, чем у GPT Image 2 High (82%) и Nano Banana Pro (78%).
Метод не привязан к своему генератору. Картинки Nano Banana Pro прогнали через KandiShop на FLUX.2 klein 9B: сходство лиц выросло с 57% до 76%, точность текста — с 78% до 83%. В слепом сравнении семь VLM-судей назвали замену головы или товара через KandiShop более естественной в 76% случаев против «нативной» замены.
Оговорки и практический вывод
Лица из FFHQ могли попасть в обучающие данные моделей, так что на новых людях цифры могут отличаться. Метод требует дополнительных детекторов и второго прохода по каждому фрагменту, а если кроп и референс плохо выравниваются, результат страдает. В открытом коде пока только версия для FLUX.2 klein 9B.
Практический вывод: вместо дообучения LoRA на каждого пользователя можно добавить шаг постобработки, который чинит лица и этикетки после любой модели, включая коммерческие API.
- 18 нояб. 2026 г.Sciforium разогнала DeepSeek-V4.1-Flash на AMD до 1 129 токенов в секунду
- 18 нояб. 2026 г.Одна китайская запятая переключила DeepSeek на китайский в 94% ответов
- 18 нояб. 2026 г.Microsoft выпустила кодер MAI Code 2: 98% качества GPT-6.1 Sol за 40% цены
- 18 нояб. 2026 г.AWS выпустила SMART: WhatsApp-агента на AgentCore поднимают одной командой
Вопросы и ответы по материалу
Что известно по теме: модель умеет копировать, но ей мешает творчество?
Современные in-context модели (FLUX.2, Qwen-Image-Edit, HunyuanImage 3, а также коммерческие Nano Banana и GPT Image) берут фото и текстовый запрос и сразу рисуют результат. Раньше для этого модель дообучали на десятке фотографий человека (DreamBooth, LoRA) или подключали отдельный энкодер лица. Теперь хватает одного снимка, но точность страдает: цвет волос и овал лица сохраняются, а форма глаз, носа и лёгкая асимметрия плывут.
Что известно по теме: как устроен KandiShop?
Метод работает после генерации. На входе готовая картинка и фото-референс, на выходе та же картинка с исправленным лицом или этикеткой. Веса модели не трогают — меняют только путь, по которому она превращает шум в изображение. Сначала вокруг лица или товара вырезают крупный фрагмент: в целом кадре лицо занимает всего 5–10% токенов, и правку «перекрикивает» фон.
Что известно по теме: что показали замеры?
На 100 лицах из FFHQ в сценах с несколькими людьми сходство у FLUX.2 klein 9B выросло с 52% до 75%. У Qwen-Image-Edit рост заметнее — с 24% до 66%, у HunyuanImage 3.0 — с 49% до 84%. Для сравнения: Nano Banana Pro даёт 57%, GPT Image 2 High — 86%. Оценка общего качества картинки (HPSv3) почти не меняется, то есть кадр не портится. С товарами проверяли 32 упаковки в 320 сценах. У FLUX.2 klein 9B точность чтения текста выросла с 76% до 84%, а доля ошибочных символов (CER) упала с 65% до 51%.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.