La génération vidéo avec galerie d'expressions faciales surpasse les modèles de base en similarité d'identité

Les modèles de génération vidéo avec préservation de l'identité reçoivent généralement un seul portrait en entrée et doivent garder le visage reconnaissable tout au long de la vidéo. Les auteurs du preprint arXiv:2610.11023 montrent que ce schéma présente un défaut structurel. Une seule photo fige le visage dans une configuration unique, et la référence ne dit rien de son apparence quand la personne rit, crie ou exprime la surprise. Les chercheurs proposent de remplacer le portrait unique par une galerie compacte d'expressions variées. Ils ont étendu le modèle Stand-In à ces ensembles et testé le résultat dans trois modes : expression faible, forte et extrême. L'approche donne ses meilleurs résultats sur l'expression extrême.

Le problème : le visage change d'une personne à l'autre

Lorsque l'expression change, la ressemblance avec la photo neutre ne varie pas de façon universelle. Chez certaines personnes, un sourire modifie à peine les traits ; chez d'autres, il les transforme nettement. Un modèle qui n'a vu qu'un portrait neutre doit donc deviner à quoi ressemblera ce visage en mouvement. Il le devine à partir des schémas statistiques moyens de ses données d'entraînement, et l'identité se dilue.

Cette même particularité fausse l'évaluation de la qualité. Les auteurs ont mesuré comment la similarité, telle que la calculent les systèmes de reconnaissance faciale, dépend de l'intensité de l'expression. Ils ont utilisé des photos et des vidéos contrôlées issues du jeu de données MEAD. Il en ressort que, même sur de vraies images d'une même personne, la similarité avec la référence neutre diminue lorsque les expressions sont fortes. Une métrique qui compare l'image générée à un seul portrait pénalise donc le modèle pour la variabilité naturelle du visage, et non pour une perte d'identité.

Ce que proposent les auteurs

La solution agit à deux niveaux : l'évaluation et la génération.

Pour l'évaluation, les auteurs ont constitué une galerie de références compacte mais expressive, qui couvre différentes configurations faciales. La similarité se calcule comme une correspondance avec la galerie, et non avec une photo unique. Cette mesure résiste mieux aux variations d'expression. Les résultats sont par ailleurs présentés séparément pour les expressions faibles, fortes et extrêmes, afin que la dégradation liée à l'intensité reste visible au lieu de se perdre dans une moyenne.

Pour la génération, les auteurs ont étendu Stand-In afin que le modèle accepte des ensembles d'expressions. Ils ont aussi construit un pipeline de préparation des données. Il extrait des vidéos d'entraînement des images de visage à la fois cohérentes en matière d'identité et variées en matière d'expression. Si l'utilisateur ne dispose que d'un portrait, un modèle de face reenactment pré-entraîné, c'est-à-dire de transfert d'expression, synthétise les expressions manquantes.

Les éléments clés du travail :

• base de l'étude de la dépendance de la similarité à l'expression : photos et vidéos contrôlées de MEAD ;
• trois modes d'évaluation : expression faible, forte et extrême ;
• deux types d'ensembles de références : réels et synthétisés à partir d'un seul portrait ;
• modèle de base : Stand-In conditionné par un ensemble de références ;
• résultat : les deux variantes surpassent les modèles de base testés en similarité d'identité dans les trois modes, le gain le plus important venant de l'expression extrême.

L'abstract ne donne aucune valeur chiffrée du gain, et la comparaison repose sur le benchmark contrôlé propre aux auteurs. Il n'existe pas encore de confirmation indépendante sur des jeux de données externes ; l'ampleur de l'effet ne peut donc pas être évaluée à partir du texte de l'abstract.

Enseignements pratiques

La variante à références synthétisées mérite une attention particulière. Elle signifie que l'amélioration n'oblige pas l'utilisateur à charger une dizaine de photos. Un seul portrait suffit, et le modèle de reenactment complète le reste. Pour les produits d'avatars, de présentateurs virtuels et de publicité personnalisée, c'est un moyen peu coûteux d'améliorer la reconnaissabilité dans les scènes chargées d'émotion, là où les générateurs actuels échouent le plus souvent.

Les équipes qui évaluent leurs propres modèles peuvent reprendre l'idée de la ventilation par intensité d'expression. Une métrique de similarité moyenne masque les défaillances sur les expressions extrêmes, qui sont pourtant celles que le spectateur remarque. Comparer à une galerie plutôt qu'à une image unique réduit aussi le risque de faux positifs.

Le risque est évident. Plus un modèle conserve fidèlement le visage quelle que soit l'expression, plus il est simple de produire des deepfakes convaincants de personnes précises à partir d'une seule photo. Les plateformes ont donc intérêt à réfléchir dès maintenant à la vérification du consentement et à l'étiquetage des vidéos synthétiques, alors que ces méthodes passent des preprints aux produits.