Geração de vídeo com galeria de expressões faciais supera modelos de base em semelhança de identidade

Os modelos de geração de vídeo com preservação de identidade costumam receber um único retrato como entrada e precisam manter o rosto reconhecível ao longo de todo o clipe. Os autores do preprint arXiv:2610.11023 mostram que esse esquema tem uma falha estrutural. Uma única foto fixa o rosto em uma só configuração, e a referência não determina como ele ficará ao rir, gritar ou se surpreender. Os pesquisadores propõem substituir o retrato isolado por uma galeria compacta de expressões variadas. Eles estenderam o modelo Stand-In para trabalhar com esses conjuntos e testaram o resultado em três modos: expressão fraca, forte e extrema. A abordagem teve o melhor desempenho no modo extremo.

O problema: o rosto muda de forma individual

Quando a expressão muda, a semelhança externa com a foto neutra não varia de maneira universal. Em uma pessoa, o sorriso quase não afeta os traços; em outra, altera-os de forma visível. Por isso, um modelo que viu apenas um retrato neutro precisa adivinhar como aquele rosto ficará em movimento. Ele faz isso a partir de padrões estatísticos médios dos dados de treinamento, e a identidade acaba diluída.

O mesmo fenômeno distorce a avaliação de qualidade. Os autores mediram como a semelhança, em sistemas de reconhecimento facial, depende da intensidade da expressão. Eles usaram fotografias e vídeos controlados do dataset MEAD. Constatou-se que, mesmo em imagens reais da mesma pessoa, a semelhança com a referência neutra cai quando as expressões são fortes. Uma métrica que compara o quadro gerado com um único retrato penaliza o modelo pela variação natural do rosto, e não pela perda de identidade.

O que os autores propuseram

A solução atua em dois níveis: avaliação e geração.

Para a avaliação, foi montada uma galeria de referências compacta, porém expressiva, que cobre diferentes configurações faciais. A semelhança passa a ser calculada como a correspondência com a galeria, e não com uma única foto. Isso torna a medição mais robusta às expressões. Os resultados são apresentados separadamente para expressões fracas, fortes e extremas, de modo que a degradação conforme a intensidade aumenta fique visível e não se perca no valor médio.

Para a geração, os autores estenderam o Stand-In para que o modelo aceite conjuntos de expressões. Eles também construíram um pipeline de preparação de dados. Ele recorta dos vídeos de treinamento os quadros faciais que são, ao mesmo tempo, consistentes quanto à identidade e variados quanto à expressão. Se o usuário tem apenas um retrato, um modelo pré-treinado de face reenactment, ou seja, de transferência de expressões, sintetiza as expressões que faltam.

Principais elementos do trabalho:

• base para estudar a dependência entre semelhança e expressão: fotografias e vídeos controlados do MEAD;
• três modos de avaliação: expressão fraca, forte e extrema;
• dois tipos de conjunto de referências: reais e sintetizados a partir de um único retrato;
• modelo de base: Stand-In condicionado a um conjunto de referências;
• resultado: as duas variantes superam os modelos de base testados em semelhança de identidade nos três modos, com o maior ganho nas expressões extremas.

O resumo do artigo não traz valores numéricos do ganho, e a comparação foi feita no benchmark controlado dos próprios autores. Ainda não há confirmação independente em conjuntos de dados externos, então não é possível estimar a magnitude do efeito pelo texto do resumo.

Conclusões práticas

A variante com referências sintetizadas merece destaque. Ela significa que a melhoria não exige que o usuário envie dezenas de fotos. Basta um retrato, e o modelo de reenactment completa o resto. Para produtos com avatares, apresentadores virtuais e publicidade personalizada, é uma forma barata de aumentar o reconhecimento em cenas emocionais, justamente onde os geradores atuais mais falham.

Equipes que avaliam seus próprios modelos podem adotar a ideia de dividir os resultados por intensidade de expressão. A métrica média de semelhança esconde falhas nas expressões extremas, e são elas que o espectador percebe. Comparar com uma galeria em vez de um único quadro também reduz o risco de falsos positivos.

Há ainda um risco evidente. Quanto melhor o modelo mantém o rosto em qualquer expressão, mais fácil se torna criar deepfakes convincentes de pessoas específicas a partir de uma só foto. Para as plataformas, é um motivo para pensar desde já em verificação de consentimento e na rotulagem de vídeos sintéticos, enquanto métodos como esse saem dos preprints e chegam aos produtos.