Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarHabr AI→ original

KandiShop eleva de 52% para 75% a semelhança de rostos gerados por IA com o original, sem fine-tuning

Você pede a uma rede neural para colocar a pessoa da foto em uma nova cena, e o rosto sai "quase igual", enquanto o texto da lata vira uma sopa de pseudoletras. O KandiShop, da AIRI, corrige a imagem já pronta sem fine-tuning: redesenha o rosto ou o rótulo com base em uma referência e não mexe no resto. No FLUX.2 klein 9B, a semelhança facial medida pelo ArcFace subiu de 52% para 75%, e a precisão de leitura do texto, de 76% para 84%. É uma etapa de pós-processamento pronta para qualquer modelo.

Processado por IA de Habr AI; editado por Hamidun News
KandiShop eleva de 52% para 75% a semelhança de rostos gerados por IA com o original, sem fine-tuning
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Rostos do Nano Banana Pro após o processamento: semelhança de 57% para 76%
Dado-chave #2Há código aberto para o FLUX.2 klein 9B, e os pesos do modelo não são alterados
Dado-chave #3Sete VLMs avaliadoras consideraram a troca de cabeça mais natural em 76% dos casos

Você envia ao gerador a foto de uma pessoa e pede para colocá-la em uma floresta nevada. O resultado é uma imagem bonita, mas os amigos dizem: "Parece, mas não é você". Com produtos, o problema é o mesmo: o logotipo e as cores da lata estão lá, mas o texto pequeno do rótulo vira um monte de garranchos.

A equipe da AIRI propôs o KandiShop, método que corrige justamente isso depois da geração e sem fine-tuning do modelo. A métrica principal é o ArcFace, rede neural de reconhecimento facial que avalia a semelhança entre duas fotos (100% significa a mesma pessoa). No FLUX.

2 klein 9B, o índice subiu de 52% para 75%. Para quem desenvolve ferramentas de ensaios fotográficos, publicidade e e-commerce, é um jeito de deixar o resultado reconhecível e legível sem trocar o gerador principal.

O modelo sabe copiar, mas a criatividade atrapalha

Os modelos in-context atuais (FLUX.2, Qwen-Image-Edit, HunyuanImage 3, além dos comerciais Nano Banana e GPT Image) recebem uma foto e um prompt de texto e desenham o resultado direto. Antes, era preciso fazer fine-tuning do modelo com cerca de dez fotos da pessoa (DreamBooth, LoRA) ou conectar um encoder de rosto separado. Hoje basta uma foto, mas a precisão cai: a cor do cabelo e o formato do rosto se mantêm, enquanto o formato dos olhos e do nariz e a leve assimetria se perdem.

O motivo é que, em uma única passada, o modelo resolve duas tarefas que puxam em direções opostas: inventar pose, iluminação e composição, e transferir cada traço do rosto e cada letra. Quando precisa escolher, sacrifica a segunda. Os autores verificaram que o problema não é falta de "memória": com o prompt "faça uma cópia exata", a semelhança facial no ArcFace ficou em 96,5–97,1%, e o texto nas embalagens foi reconhecido com precisão (OCR F1) de até 92%. Já em uma cena nova com várias pessoas, a semelhança cai para 24–60%. A conclusão é que as tarefas precisam ser separadas.

Como funciona o KandiShop

O método atua depois da geração. A entrada é a imagem pronta e uma foto de referência; a saída é a mesma imagem com o rosto ou o rótulo corrigido. Os pesos do modelo não são alterados: muda apenas o caminho pelo qual ele transforma ruído em imagem.

Primeiro, recorta-se um fragmento grande ao redor do rosto ou do produto: na imagem inteira, o rosto ocupa apenas 5–10% dos tokens, e o fundo abafa a edição. Em seguida, a referência é alinhada ao fragmento: nos rostos, por cinco pontos-chave (olhos, nariz, cantos da boca); nos produtos, com o detector Grounding DINO, a segmentação SAM e o pareamento de pontos SIFT. Depois disso, o fragmento passa pelo processo de remoção de ruído em dois fluxos dentro de um mesmo transformer.

O primeiro vê o recorte original e mantém pose, fundo e iluminação. O segundo vê a referência alinhada e "sabe" como são o rosto ou as letras. Após cada bloco, os fluxos são combinados segundo a máscara do objeto, de modo que os blocos seguintes ajustam o rosto à cena.

Para que o rosto não chegue com a iluminação da referência (por exemplo, uma luz quente de casa em meio a uma névoa fria), dentro da máscara a cor e o contraste de suas características são ajustados à cena, com a técnica AdaIN. Nos produtos, ela é desativada, porque borra o texto pequeno. O principal parâmetro de controle é o denoise, a fração do caminho de remoção de ruído que é refeita: 0,5–0,75 na maioria dos casos e 1,0 para a substituição completa da cabeça ou do produto. O fragmento pronto é colado de volta, e o restante da imagem permanece idêntico, pixel por pixel.

O que mostraram as medições

Em 100 rostos do FFHQ, em cenas com várias pessoas, a semelhança do FLUX.2 klein 9B subiu de 52% para 75%. No Qwen-Image-Edit, o ganho é maior: de 24% para 66%. No HunyuanImage 3.0, de 49% para 84%. Para comparação: o Nano Banana Pro marca 57%, e o GPT Image 2 High, 86%. A avaliação da qualidade geral da imagem (HPSv3) quase não muda, ou seja, a imagem não é prejudicada.

Com produtos, foram testadas 32 embalagens em 320 cenas. No FLUX.2 klein 9B, a precisão de leitura do texto subiu de 76% para 84%, e a taxa de erro de caracteres (CER) caiu de 65% para 51%. É um resultado melhor que o do GPT Image 2 High (82%) e o do Nano Banana Pro (78%).

O método não depende do gerador original. Imagens do Nano Banana Pro passaram pelo KandiShop rodando no FLUX.2 klein 9B: a semelhança facial subiu de 57% para 76%, e a precisão do texto, de 78% para 83%. Em uma comparação às cegas, sete VLMs avaliadoras consideraram a troca de cabeça ou de produto feita pelo KandiShop mais natural em 76% dos casos, contra a troca "nativa".

Ressalvas e conclusão prática

Os rostos do FFHQ podem ter entrado nos dados de treinamento dos modelos, então, com pessoas novas, os números podem ser diferentes. O método exige detectores adicionais e uma segunda passada em cada fragmento, e, se o recorte e a referência não se alinharem bem, o resultado piora. No código aberto, por enquanto, há apenas a versão para o FLUX.2 klein 9B.

Conclusão prática: em vez de fazer fine-tuning de LoRA para cada usuário, é possível adicionar uma etapa de pós-processamento que corrige rostos e rótulos depois de qualquer modelo, inclusive APIs comerciais.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre O modelo sabe copiar, mas a criatividade atrapalha?

Os modelos in-context atuais (FLUX.2, Qwen-Image-Edit, HunyuanImage 3, além dos comerciais Nano Banana e GPT Image) recebem uma foto e um prompt de texto e desenham o resultado direto. Antes, era preciso fazer fine-tuning do modelo com cerca de dez fotos da pessoa (DreamBooth, LoRA) ou conectar um encoder de rosto separado. Hoje basta uma foto, mas a precisão cai: a cor do cabelo e o formato do rosto se mantêm, enquanto o formato dos olhos e do nariz e a leve assimetria se perdem.

Como funciona o KandiShop?

O método atua depois da geração. A entrada é a imagem pronta e uma foto de referência; a saída é a mesma imagem com o rosto ou o rótulo corrigido. Os pesos do modelo não são alterados: muda apenas o caminho pelo qual ele transforma ruído em imagem. Primeiro, recorta-se um fragmento grande ao redor do rosto ou do produto: na imagem inteira, o rosto ocupa apenas 5–10% dos tokens, e o fundo abafa a edição.

O que mostraram as medições?

Em 100 rostos do FFHQ, em cenas com várias pessoas, a semelhança do FLUX.2 klein 9B subiu de 52% para 75%. No Qwen-Image-Edit, o ganho é maior: de 24% para 66%. No HunyuanImage 3.0, de 49% para 84%. Para comparação: o Nano Banana Pro marca 57%, e o GPT Image 2 High, 86%. A avaliação da qualidade geral da imagem (HPSv3) quase não muda, ou seja, a imagem não é prejudicada. Com produtos, foram testadas 32 embalagens em 320 cenas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…