Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
SortieAnalyse · Sur le radarHabr AI→ original

KandiShop fait passer la ressemblance des visages générés par IA de 52% à 75%, sans réentraînement

Un générateur place une personne issue d'une photo dans une nouvelle scène, mais le visage n'est « presque » pas le bon, et l'inscription sur la boîte se réduit à un amas de pseudo-lettres. KandiShop, développé par AIRI, répare l'image déjà générée sans réentraînement : il redessine le visage ou l'étiquette à partir d'une référence et ne touche pas au reste. Pour FLUX.2 klein 9B, la similarité des visages mesurée par ArcFace passe de 52% à 75%, et la précision de lecture du texte de 76% à 84%. C'est une étape de post-traitement prête à l'emploi, utilisable avec n'importe quel modèle.

Traité par IA depuis Habr AI ; édité par Hamidun News
KandiShop fait passer la ressemblance des visages générés par IA de 52% à 75%, sans réentraînement
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Visages de Nano Banana Pro après traitement : similarité de 57% à 76%
Chiffre clé #2Le code ouvert existe pour FLUX.2 klein 9B, les poids du modèle ne sont pas modifiés
Chiffre clé #3Sept VLM-juges ont jugé le remplacement de la tête plus naturel dans 76% des cas

Vous envoyez à un générateur la photo d'une personne et lui demandez de la placer dans une forêt enneigée. Le cadre est superbe, mais vos amis disent : « Ça y ressemble, mais ce n'est pas toi. » Les produits posent le même problème : le logo et les couleurs de la boîte sont là, mais la petite inscription sur l'étiquette se change en gribouillis.

L'équipe AIRI propose KandiShop, une méthode qui corrige précisément cela après la génération, sans réentraîner le modèle. La métrique principale est ArcFace, un réseau de neurones de reconnaissance faciale qui évalue la ressemblance entre deux images (100% signifie la même personne). Pour FLUX.

2 klein 9B, elle passe de 52% à 75%. Pour les développeurs de séances photo, de publicités et de boutiques en ligne, c'est un moyen de rendre le résultat reconnaissable et lisible sans changer le générateur principal.

Le modèle sait copier, mais sa créativité le gêne

Les modèles in-context actuels (FLUX.2, Qwen-Image-Edit, HunyuanImage 3, ainsi que les modèles commerciaux Nano Banana et GPT Image) prennent une photo et une requête textuelle, puis dessinent directement le résultat. Auparavant, il fallait réentraîner le modèle sur une dizaine de photos de la personne (DreamBooth, LoRA) ou brancher un encodeur de visage distinct. Une seule image suffit désormais, mais la précision en pâtit : la couleur des cheveux et l'ovale du visage se conservent, tandis que la forme des yeux, celle du nez et la légère asymétrie dérivent.

La cause : en une seule passe, le modèle doit résoudre deux tâches qui tirent dans des directions opposées. Il doit à la fois inventer la pose, l'éclairage et la composition, et reproduire chaque trait du visage et chaque lettre. Quand il faut choisir, c'est la seconde tâche qui est sacrifiée.

Les auteurs ont vérifié que le problème ne vient pas d'un manque de « mémoire » : sur la requête « fais une copie exacte », la similarité des visages selon ArcFace atteint 96,5–97,1%, et le texte sur les emballages est reconnu avec une précision (OCR F1) allant jusqu'à 92%. Mais dans une nouvelle scène comprenant plusieurs personnes, la similarité tombe à 24–60%. Conclusion : il faut séparer les deux tâches.

Comment fonctionne KandiShop

La méthode intervient après la génération. En entrée, elle reçoit l'image finie et une photo de référence ; en sortie, la même image avec un visage ou une étiquette corrigés. Les poids du modèle ne sont pas modifiés : seul change le chemin par lequel il transforme le bruit en image.

On commence par découper un large fragment autour du visage ou du produit : sur l'image entière, le visage ne représente que 5–10% des tokens, et le fond « couvre la voix » de la correction. La référence est ensuite alignée sur le fragment : pour les visages, à partir de cinq points clés (yeux, nez, commissures des lèvres) ; pour les produits, avec le détecteur Grounding DINO, la segmentation SAM et l'appariement de points SIFT. Le fragment est ensuite débruité par deux flux au sein d'un même transformer.

Le premier voit le recadrage d'origine et conserve la pose, le fond et la lumière. Le second voit la référence alignée et « sait » à quoi ressemblent le visage ou les lettres. Après chaque bloc, les flux sont mélangés selon le masque de l'objet, si bien que les blocs suivants ajustent le visage à la scène.

Pour éviter que le visage n'arrive avec l'éclairage de la référence (par exemple une lumière chaude d'intérieur dans un brouillard froid), la couleur et le contraste de ses caractéristiques sont ajustés à la scène à l'intérieur du masque, grâce à la technique AdaIN. Pour les produits, elle est désactivée : elle brouille le petit texte. Le réglage principal est denoise, la part du chemin de débruitage refaite de zéro : de 0,5 à 0,75 dans la plupart des cas, 1,0 pour remplacer entièrement une tête ou un produit. Le fragment terminé est recollé dans l'image, et le reste du cadre reste identique au pixel près.

Ce que montrent les mesures

Sur 100 visages de FFHQ dans des scènes à plusieurs personnes, la similarité de FLUX.2 klein 9B passe de 52% à 75%. Le gain est plus marqué pour Qwen-Image-Edit, de 24% à 66%, et pour HunyuanImage 3.0, de 49% à 84%. À titre de comparaison, Nano Banana Pro atteint 57% et GPT Image 2 High 86%. L'évaluation de la qualité globale de l'image (HPSv3) ne change presque pas : le cadre n'est donc pas dégradé.

Pour les produits, les tests portent sur 32 emballages dans 320 scènes. Avec FLUX.2 klein 9B, la précision de lecture du texte passe de 76% à 84%, et le taux d'erreurs de caractères (CER) tombe de 65% à 51%. C'est mieux que GPT Image 2 High (82%) et Nano Banana Pro (78%).

La méthode n'est pas liée à son propre générateur. Les images de Nano Banana Pro ont été passées dans KandiShop sur FLUX.2 klein 9B : la similarité des visages passe de 57% à 76%, la précision du texte de 78% à 83%. Lors d'une comparaison en aveugle, sept VLM-juges ont jugé le remplacement de la tête ou du produit via KandiShop plus naturel dans 76% des cas, face au remplacement « natif ».

Réserves et conclusion pratique

Les visages de FFHQ ont pu se retrouver dans les données d'entraînement des modèles ; les chiffres peuvent donc différer sur des personnes inédites. La méthode exige des détecteurs supplémentaires et une seconde passe sur chaque fragment, et si le recadrage et la référence s'alignent mal, le résultat se dégrade. Le code ouvert ne contient pour l'instant que la version pour FLUX.2 klein 9B.

Conclusion pratique : au lieu de réentraîner une LoRA pour chaque utilisateur, on peut ajouter une étape de post-traitement qui corrige visages et étiquettes après n'importe quel modèle, y compris les API commerciales.

Dossier

Questions clés sur cet article

Que sait-on sur Le modèle sait copier, mais sa créativité le gêne ?

Les modèles in-context actuels (FLUX.2, Qwen-Image-Edit, HunyuanImage 3, ainsi que les modèles commerciaux Nano Banana et GPT Image) prennent une photo et une requête textuelle, puis dessinent directement le résultat. Auparavant, il fallait réentraîner le modèle sur une dizaine de photos de la personne (DreamBooth, LoRA) ou brancher un encodeur de visage distinct.

Comment fonctionne KandiShop?

La méthode intervient après la génération. En entrée, elle reçoit l'image finie et une photo de référence ; en sortie, la même image avec un visage ou une étiquette corrigés. Les poids du modèle ne sont pas modifiés : seul change le chemin par lequel il transforme le bruit en image. On commence par découper un large fragment autour du visage ou du produit : sur l'image entière, le visage ne représente que 5–10% des tokens, et le fond « couvre la voix » de la correction.

Que sait-on sur Ce que montrent les mesures ?

Sur 100 visages de FFHQ dans des scènes à plusieurs personnes, la similarité de FLUX.2 klein 9B passe de 52% à 75%. Le gain est plus marqué pour Qwen-Image-Edit, de 24% à 66%, et pour HunyuanImage 3.0, de 49% à 84%. À titre de comparaison, Nano Banana Pro atteint 57% et GPT Image 2 High 86%. L'évaluation de la qualité globale de l'image (HPSv3) ne change presque pas : le cadre n'est donc pas dégradé. Pour les produits, les tests portent sur 32 emballages dans 320 scènes.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…