GHARP anime une tête 3D en temps réel : 13 fois plus vite sur A100

Des chercheurs présentent GHARP, une méthode qui anime en temps réel la tête en trois dimensions d'une personne à partir de quelques photographies et d'un signal d'expression faciale. Sur le benchmark Ava-256, elle atteint une qualité de niveau state-of-the-art, tout en tournant jusqu'à 13 fois plus vite sur GPU A100 et en utilisant 8 fois moins de gaussiennes. Le réseau chargé de l'animation à l'exécution est léger et optimisé pour les appareils mobiles.

Deux étapes plutôt qu'une

L'idée centrale du travail est de scinder le problème. La première étape, dite d'identification, construit une représentation de la géométrie et de l'apparence d'une personne donnée. Elle s'exécute hors ligne et peut donc être aussi coûteuse que nécessaire. La seconde étape tourne au runtime : elle prédit les variations résiduelles liées à l'expression faciale, qu'elle applique par-dessus la représentation déjà prête.

Ce compromis entre précision, qualité et vitesse est connu dans d'autres tâches : on déporte le travail lourd là où le temps n'est pas limité, et l'on n'envoie sur l'appareil de l'utilisateur que le minimum de calcul. Pour les avatars, c'est particulièrement important, car l'animation doit atteindre une fréquence d'images compatible avec la visioconférence ou le jeu.

L'animation ne se fait ni dans l'espace des pixels ni dans un jeu brut de paramètres, mais dans l'espace latent, structuré sémantiquement, d'un modèle de reconstruction préentraîné. Dans cet espace, les changements d'expression restent localisés spatialement, ce qui facilite la prédiction des résidus. Le même prior de reconstruction impose une organisation spatiale unique. Cela permet de fusionner plusieurs points de vue d'entrée en une représentation canonique compacte, fondée sur des gaussiennes en nombre fixe.

Corps et vêtements : le problème que les codes d'expression passent sous silence

Le schéma en deux étapes améliore l'équilibre entre vitesse et qualité, mais il ne résout pas un problème commun à tous les avatars pilotés par l'expression. Le code d'expression ne décrit que le visage. La posture du corps et la position des vêtements en sont absentes, et ces zones restent indéterminées dans le signal d'entraînement. Le réseau d'animation se heurte à un problème mal posé et fait la moyenne de variantes contradictoires de l'apparence du corps. Résultat : du flou et un scintillement temporel.

Les auteurs traitent ce point avec un réseau d'alignement du corps distinct. Il apprend à faire correspondre le corps de la personne sur l'image cible avec les images de référence fournies en entrée. L'ambiguïté disparaît du signal d'entraînement, et le réseau d'animation n'est plus contraint de faire la moyenne.

Chiffres clés

• Entrée : plusieurs images de la personne et un signal d'expression de contrôle.
• Benchmark : Ava-256, qualité de niveau state-of-the-art.
• Vitesse : jusqu'à 13 fois plus rapide sur A100.
• Compacité : 8 fois moins de gaussiennes.
• Réseau au runtime : léger, optimisé pour les appareils mobiles.
• Identification : étape hors ligne, qui tolère des calculs coûteux.

À quoi cela peut servir et ce qu'il faut surveiller

Le gain pratique concerne les cas où l'avatar doit vivre sur l'appareil de l'utilisateur : téléprésence, appels vidéo avec représentation 3D, jeux, AR et VR. La réduction du nombre de gaussiennes abaisse les besoins en mémoire et en bande passante de rendu. Le déport de l'étape coûteuse hors ligne évite de recalculer l'identité à chaque lancement.

Les limites sont aussi visibles. Le résumé ne fournit aucune donnée sur des puces mobiles précises, sur la fréquence d'images obtenue sur un téléphone ni sur les conditions de mesure. L'accélération de 13x est donc à vérifier dans le texte complet de l'article et dans le code, si les auteurs le publient. De plus, l'étape hors ligne exige tout de même plusieurs photos de qualité de la personne : le scénario du « selfie unique pris à la volée » n'est donc pas couvert par cette méthode.

Pour les équipes qui développent des produits autour de jumeaux numériques, GHARP constitue une architecture de référence utile : séparer l'identité de l'animation, travailler dans l'espace latent d'un modèle de reconstruction et résoudre explicitement l'ambiguïté du corps dès l'entraînement.