RealMe génère de la vidéo volumétrique 2K avec un minimum de caméras grâce à la diffusion

Une équipe de chercheurs a présenté RealMe, un framework qui construit de la vidéo volumétrique (volumetric) à partir de captures éparses en basse résolution et produit un résultat en 2K, cohérent à la fois entre les points de vue et dans le temps. Le cœur du système est un modèle de diffusion vidéo : il améliore les vidéos sources, puis la représentation 4D de la scène est affinée à partir de ces vidéos. Sur le benchmark public DNA-Rendering comme sur son propre jeu de données RealVV, la méthode surpasse les approches récentes en qualité visuelle et en cohérence 4D.

Pourquoi les studios denses sont devenus un goulot d'étranglement

La reconstruction classique de vidéo volumétrique repose sur une captation multicaméra dense. Des dizaines de caméras synchronisées autour du sujet donnent d'excellents résultats, mais coûtent cher, exigent un local aménagé et un travail de calibration. Pour le cinéma et les grandes productions, c'est supportable. Pour une rédaction équipée d'un studio, une petite équipe ou un tournage « sur le terrain », ça ne l'est plus.

Des travaux récents ont tenté d'assouplir cette contrainte avec des modèles génératifs : on prend quelques points de vue et on demande au réseau de compléter les autres. Les problèmes sont connus. La résolution de ces systèmes est limitée et, surtout, la cohérence 4D en souffre. Quand chaque point de vue et chaque image sont générés avec un lien insuffisant entre eux, la géométrie « flotte », les détails scintillent et l'image se désagrège dès que l'on fait tourner une caméra virtuelle autour de la scène. RealMe cible précisément ces deux points faibles : la résolution et la cohérence.

Une diffusion qui sait où se trouvent les caméras

Le principe est le suivant. À partir des vidéos capturées, le système construit des données auxiliaires et les encode en latents, avec des embeddings positionnels layout-aware, c'est-à-dire porteurs d'informations sur la disposition des caméras. Le modèle sait non seulement ce qu'il voit, mais aussi d'où la scène a été filmée.

Le modèle de diffusion vidéo entre ensuite en jeu. Les auteurs y ont adapté l'attention spatio-temporelle factorisée à une disposition multivue. Le modèle débruite les latents simultanément selon les points de vue et selon le temps, puis les décode en vidéos améliorées. Ce sont ces vidéos qui servent à affiner la représentation 4D finale. Selon les auteurs, cette adaptation permet de capter à la fois la dynamique temporelle et les relations entre les points de vue, et donc d'obtenir une génération plus cohérente.

Autre élément notable : une perte fréquentielle latente. Les vidéos générées diffèrent en général légèrement des captures réelles sur les textures et les petits détails, car la diffusion a tendance à lisser. Pour réduire cet écart, les auteurs ont ajouté un contrôle fréquentiel directement dans l'espace latent. C'est moins coûteux que de calculer les pertes dans l'espace des pixels, et cela oblige le modèle à préserver les composantes haute fréquence, responsables de la netteté.

Paramètres clés :

• entrée : captures vidéo éparses en basse résolution ;
• sortie : vidéos 2K cohérentes en 4D pour la reconstruction de vidéo volumétrique ;
• cœur : modèle de diffusion vidéo avec attention spatio-temporelle factorisée ;
• encodage : latents plus embeddings positionnels layout-aware ;
• entraînement : perte fréquentielle latente pour rapprocher données générées et données réelles ;
• évaluation : DNA-Rendering et jeu de données maison RealVV.

Qui en profitera en premier ?

Les cas d'usage les plus évidents sont les contenus VR et AR, la téléprésence, les retransmissions sportives en caméra libre et les jumeaux numériques de personnes à usage commercial ou de divertissement. Partout où le coût d'un studio doté d'un réseau dense de caméras fait aujourd'hui obstacle, l'approche « moins de caméras, plus de génération » abaisse le seuil d'entrée.

Une limite mérite toutefois d'être gardée en tête. Quand les détails sont reconstitués par un modèle de diffusion, une partie de l'image n'a pas été filmée : elle a été synthétisée. Pour le divertissement et la communication, c'est acceptable. Pour les usages où la fidélité documentaire compte, comme la médecine ou la reconstitution judiciaire, il faudra évaluer séparément ce que le modèle a ajouté.

La seconde question est celle de la transférabilité. Les résultats ont été obtenus sur DNA-Rendering et sur RealVV, le jeu de données des auteurs. Le vrai test sera le fonctionnement avec d'autres installations de caméras, d'autres éclairages et d'autres sujets. Si la méthode passe cette épreuve, la vidéo volumétrique pourrait cesser d'être le privilège des studios dotés d'un équipement coûteux.