PCAsplat nettoie les splats gaussiens de leurs « floaters » grâce à une PCA locale, sur trois benchmarks

Le Gaussian Splatting a depuis longtemps dépassé le simple rendu spectaculaire, mais sa géométrie reste son point faible. L'équipe derrière PCAsplat propose un régulariseur fondé sur une analyse en composantes principales (PCA) locale et différentiable, qui rapproche directement les centres des gaussiennes de la surface réelle de la scène. La validation porte sur trois jeux de données : DTU, Tanks and Temples et NeRF Synthetic. Selon les auteurs, les splats approchent plus précisément la surface de référence, et le nombre d'artefacts flottants diminue sensiblement. Le code doit être publié, promettent-ils.

Pourquoi les gaussiennes dérivent

L'entraînement standard du 3D Gaussian Splatting repose sur les pertes de rastérisation. Le gradient n'atteint que les gaussiennes traversées par les rayons des caméras sélectionnées et qui ont contribué à un pixel. Si un splat est masqué par un autre objet ou à peine visible sous l'angle courant, le signal sur sa position est faible, voire nul. Ce splat reste alors là où les premières itérations l'ont déposé et finit par flotter dans l'air près de la surface. Ce sont les floaters, ces artefacts flottants qui dégradent le nuage de points, le maillage et toutes les opérations ultérieures sur la géométrie.

Le problème est systémique : l'erreur photométrique ignore où passe la surface. Elle vérifie seulement si l'image finale ressemble à la photographie.

Comment fonctionne PCAsplat

Les auteurs ajoutent des pertes indépendantes de la caméra. Pour chaque gaussienne, on prend le voisinage des centres les plus proches et on calcule une PCA locale. L'opération est différentiable : le gradient remonte donc jusqu'aux positions des centres, y compris pour les splats qui ne participent pas à la vue courante.

Le régulariseur comporte deux volets :

• Régularisation des valeurs propres. Elle pousse les gaussiennes vers la surface et recherche une couverture isotrope du plan tangent : en clair, une valeur propre faible le long de la normale et deux autres valeurs comparables entre elles.
• Alignement des normales. La normale de chaque gaussienne est mise en cohérence avec la normale estimée par la PCA sur son voisinage, ce qui donne une orientation homogène.

La méthode ne remplace pas les pertes de rastérisation : elle s'y ajoute comme contrainte supplémentaire.

Ce que montrent les expériences

L'abstract ne contient pas de tableaux chiffrés, il est donc impossible pour l'instant de juger de l'ampleur du gain. Voici ce qui est annoncé sur le plan qualitatif :

• Benchmarks : DTU, Tanks and Temples, NeRF Synthetic.
• Les splats approchent mieux l'échantillon de points de la surface de référence.
• Les artefacts flottants sont nettement moins nombreux.
• La synthèse de nouvelles vues et l'extraction de maillage restent à un niveau compétitif : les auteurs ne promettent donc pas de percée notable sur les métriques de rendu classiques.
• Les splats alignés sur la surface se prêtent à la segmentation de nuages de points et à la reconstruction de Poisson directe, sans étapes de contournement intermédiaires.

Le dernier point est le plus concret. La reconstruction de Poisson exige des points propres, dotés de normales cohérentes, et c'est précisément ce que le régulariseur cherche à fournir en sortie d'entraînement.

À qui cela servira

Si vous bâtissez une chaîne de scan, de photogrammétrie ou de jumeaux numériques sur des splats gaussiens, l'intérêt principal de la méthode tient à ceci : le nuage de centres peut servir de géométrie, et pas seulement de support de rendu. En robotique et en réalité augmentée, cela signifie moins de nettoyage manuel avant la construction du maillage et des collisions.

Avant d'adopter la méthode, il vaut mieux attendre le code et vérifier trois points. Premièrement : le temps que la recherche de voisins et la PCA ajoutent à chaque itération sur des scènes de plusieurs millions de gaussiennes. Deuxièmement : le comportement sur des scènes avec des structures fines et des reflets, où l'hypothèse de planéité locale ne tient plus. Troisièmement : la mesure dans laquelle le gain géométrique se maintient sur vos propres données, et pas seulement sur trois jeux académiques. Pour l'instant, c'est une idée soignée et logique, destinée à ceux pour qui la géométrie compte autant que l'image.