Dusting the Phantom : une distribution intelligente des gaussiennes pour les scènes dynamiques

Pourquoi les gaussiennes perdent les objets rapides

Le Dynamic 3D Gaussian Splatting a constitué une véritable avancée pour la création de vidéo volumétrique haute fidélité en temps réel. Mais la technologie cale sur un cas de figure typique : lorsqu'un objet est à la fois petit et rapide, il disparaît purement et simplement de la vidéo. Les textures fines dans les zones à mouvement intense se perdent sans possibilité de restauration. Et voici le paradoxe : augmenter le temps d'entraînement ou ajouter davantage de gaussiennes ne résout jamais le problème.

Une équipe du KAIST et d'autres universités coréennes (Minhyeok Roh, Minseo Lee, Jun Young Jeong, Byeonghyeon Lee, Lucas Yunkyu Lee, Jaesik Park, Eunbyung Park) a avancé une hypothèse radicale : le goulot d'étranglement ne réside pas dans la capacité de représentation, mais dans la stratégie de distribution des primitives. Les méthodes existantes placent les gaussiennes en fonction de leur position actuelle et ignorent où elles doivent se déplacer dans l'espace-temps.

La solution : deux méthodes complémentaires

Seed Injection — une implantation intelligente de nouvelles gaussiennes

Cette méthode identifie les régions dynamiques insuffisamment reconstruites en analysant les changements temporels d'apparence des objets et les erreurs de reconstruction. Une fois une telle région repérée, l'algorithme initialise de nouvelles gaussiennes à des positions 3D géométriquement plausibles, déterminées via des observations multi-vues. Point crucial : les nouvelles primitives sont placées indépendamment de la position actuelle des gaussiennes existantes, ce qui leur permet de couvrir les zones de l'espace auparavant perdues.

Temporal Biased Relocation — un réaffectation assistée par le temps

La seconde stratégie récupère les signaux temporels d'optimisation et les utilise pour orienter le placement spatio-temporel des gaussiennes qui se déplacent entre les images. En clair : le système apprend où les gaussiennes doivent se déplacer pour mieux capturer le contenu des régions dynamiques. Les deux méthodes fonctionnent en conservant un budget de gaussiennes fixe — sans aucune augmentation du coût de calcul.

Ce qui s'est amélioré

L'évaluation expérimentale sur plusieurs jeux de données de scènes dynamiques a montré une amélioration significative de la qualité de reconstruction, en particulier dans les zones à forte dynamique. Les chercheurs ont réussi à restaurer les petits objets se déplaçant rapidement et à préserver les détails fins de texture qui se transformaient auparavant en artefacts flous.

La conclusion est simple : la vidéo volumétrique haute fidélité ne nécessite pas toujours d'ajouter davantage de calcul. Il suffit parfois de répartir les ressources plus intelligemment. Le travail a été publié le 15 octobre 2026 ; les méthodes sont mises en œuvre sans modifier la représentation gaussienne de base, ce qui les rend applicables aux pipelines existants de synthèse vidéo.

L'ensemble des documents, incluant une page de projet avec des visualisations et le code source, est disponible aux adresses suivantes : https://minhyeok2001.github.io/Dusting-the-Phantom/ et https://github.com/minhyeok2001/DtP