FineSplat : patchs fins et double regroupement pour une synthèse de vues détaillée

FineSplat : un nouveau niveau de détail dans la synthèse de vues

Une équipe du KAIST dirigée par Hyebin Kim, Hwasik Jeong, Joonhyuk Park, Gyeongjin Kang, Jungwoo Kim, Younghyun Kim et Eunbyung Park présente FineSplat, une architecture feed-forward de 3D Gaussian Splatting capable de reconstruire des scènes photoréalistes avec un niveau de détail inédit pour cette approche. La méthode fonctionne sans information sur les poses de caméra (pose-free), un atout décisif pour les applications pratiques en numérisation et en production média.

Une architecture à trois niveaux

Le 3D Gaussian Splatting promet une reconstruction instantanée de haute qualité, mais la géométrie et la texture à grain fin restent un défi majeur. L'attention multi-vues globale exige des ressources de calcul prohibitives à haute résolution de tokens. FineSplat résout ce problème de façon globale, sur trois niveaux.

Le premier niveau concerne les caractéristiques à grain fin. Le système travaille sur des patchs d'image haute résolution plutôt que sur des caractéristiques globales de la scène, extrayant des traits locaux à partir de zones spécifiques de l'image. Cela préserve mieux les détails fins de texture et de microgéométrie.

Le deuxième niveau repose sur une stratégie d'attention à double regroupement, combinant deux formes complémentaires de localité : • Regroupement view-wise : une interaction efficace entre vues géométriquement voisines, sans recourir à un transformeur global coûteux • Regroupement spatial 3D : la reconnexion de tokens liés dans l'espace tridimensionnel de la scène, qui n'interagiraient pas autrement avec une simple stratégie view-wise

Le troisième niveau utilise l'erreur de reconstruction comme signal de rétroaction explicite. Le retour basé sur le rendu applique une comparaison directe, fondée sur le rendu, avec les images cibles, assurant une correction géométrique et texturale explicite. Cela permet de dépasser les limites d'une prédiction feed-forward en une seule passe. Le schéma compact de génération des gaussiennes conserve les avantages des caractéristiques à grain fin sans multiplier inutilement le nombre de primitives.

Résultats et portée de l'application

FineSplat atteint l'état de l'art avec une marge substantielle, reconstruisant une géométrie et une texture plus riches avec environ 4 fois moins de gaussiennes que les méthodes existantes. La méthode est tout aussi efficace pour la synthèse de vues avec poses connues (posed novel view synthesis) que pour le scénario pose-free.

L'écosystème des méthodes similaires en 2026

FineSplat s'inscrit dans une classe en expansion rapide d'approches feed-forward 3DGS. Parmi les travaux proches publiés cette année : • DeltaSplat — raffinement itératif des gaussiennes pour le 3D Gaussian Splatting feed-forward pose-free • InfiniSplat v2 — analyse et amélioration du 3DGS feed-forward pour la synthèse à partir de vues arbitraires • GrapeSplat — reconstruction geometry-grounded via un encodage pose-free amalgamé en 3DGS • AIMS — synthèse multi-vues à ancrage intégré pour un rendu de nouvelles vues à grande échelle • Anchor3DGS — 3D Gaussian Splatting feed-forward avec une représentation compacte à base d'ancrages • Tele360 — reconstruction humaine en temps réel à partir de caméras rares et non orientées • CoTL — représentation compacte et légère en tokens pour les scènes 3D

Les travaux ont été publiés le 18 octobre 2026, recueillant 36 votes positifs sur Hugging Face et 32 étoiles sur GitHub. Le code source et une démonstration interactive sont disponibles sur github.com/hyebinny/FineSplat et hyebinny.github.io/FineSplat/