CompactSplat répartit les gaussiennes 3D selon le contenu de l'image, et non selon les pixels

Un groupe de chercheurs a publié CompactSplat, un framework feedforward de reconstruction de scènes 3D à partir d'un petit nombre de points de vue. La méthode ne nécessite aucune optimisation par scène et change la logique même du placement des gaussiennes 3D. Au lieu du schéma « une ou plusieurs gaussiennes par pixel », elle répartit les primitives selon le contenu de l'image. La méthode a été évaluée sur trois benchmarks : RealEstate10K, DL3DV et ScanNet. Selon les auteurs, elle surpasse les approches précédentes, à la fois sur les métriques standard et sur la cohérence du rendu en haute résolution, tout en exigeant nettement moins de primitives.

Pourquoi une gaussienne par pixel est un gaspillage

Le 3D Gaussian Splatting généralisable, dans sa version feedforward, fonctionne ainsi : le réseau examine les images d'entrée et produit en une seule passe un ensemble de gaussiennes, à partir duquel la scène est ensuite rendue. Il n'y a pas de longue adaptation à une pièce donnée, ni de minutes ou d'heures d'optimisation. Beaucoup de méthodes récentes reposent sur ce schéma, dont pixelSplat et MVSplat : chaque pixel de l'image d'entrée reçoit sa propre primitive, parfois plusieurs.

Cette simplicité a un coût. Un mur blanc, un ciel dégagé ou un sol uni occupent une grande surface de l'image, mais contiennent très peu d'information. Une dizaine de grandes gaussiennes suffirait pour les représenter, alors que le réseau en dépense des milliers. La représentation devient gonflée, ce qui consomme de la mémoire et ralentit le rendu. Second problème : la géométrie. Les plans sont omniprésents dans les scènes réelles, mais une distribution uniforme des primitives n'exploite pas cette connaissance. La structure est donc moins bien modélisée qu'elle pourrait l'être.

La texture indique où placer les primitives

CompactSplat résout les deux problèmes avec un seul mécanisme. L'image est d'abord découpée en régions en tenant compte de la texture, puis un échantillonnage hiérarchique détermine combien de gaussiennes chaque région requiert. Les zones complexes, riches en détails fins, reçoivent un semis dense de primitives. Les zones planes sont recouvertes d'un « carrelage » de grandes gaussiennes, dont l'échelle s'ajuste à la taille de la région.

La méthode exploite ainsi directement l'a priori géométrique des surfaces planes, au lieu d'espérer que le réseau l'apprenne seul. La distribution devient adaptative : le budget de primitives va là où il influe sur la qualité de l'image.

Un curseur entre qualité et mémoire

Autre détail pratique : la parcimonie se contrôle dynamiquement au moment de l'inférence. La densité des gaussiennes peut être modifiée sans réentraîner le réseau. Un même modèle peut tourner en mode « lourd » pour une qualité maximale, ou en mode léger lorsque la mémoire est la contrainte. Un tel compromis exige d'ordinaire des modèles distincts ou un fine-tuning.

Ce que l'on sait de la méthode :

• tâche : reconstruction d'une scène 3D à partir de points de vue épars, sans optimisation par scène ;
• représentation : 3D Gaussian Splatting, génération feedforward ;
• composants clés : découpage spatial guidé par la texture, échantillonnage hiérarchique, primitives à échelle modulée pour les zones planes ;
• contrôle : réglage de la parcimonie à l'inférence, sans nouvel entraînement ;
• benchmarks : RealEstate10K, DL3DV, ScanNet ;
• résultat : de meilleures métriques et un rendu plus stable en haute résolution, avec moins de primitives.

Où l'économie de gaussiennes sera rentabilisée en premier

La compacité compte là où une scène doit être construite vite et affichée sur du matériel limité. Cela concerne la AR et la VR sur appareils mobiles, les aperçus immobiliers (où RealEstate10K est déjà devenu un test standard), ainsi que la navigation de robots, qui ont besoin d'une carte de leur environnement sans traitement long. Dans ces scénarios, moins de primitives signifie moins de trafic, moins de mémoire vidéo et une fréquence d'images plus élevée.

La possibilité de modifier la densité à l'exécution est particulièrement utile pour les produits qui ciblent plusieurs classes d'appareils. Un seul modèle entraîné peut être déployé aussi bien sur un serveur que sur un téléphone, en ne changeant que le paramètre de parcimonie. Pour les équipes qui maintiennent aujourd'hui plusieurs versions de leur réseau de reconstruction, cela réduit la charge de maintenance.

Des questions restent ouvertes et méritent d'être vérifiées lors d'un déploiement : le comportement sur des scènes comportant beaucoup de structures fines, sur des surfaces réfléchissantes et transparentes, et sur des vidéos en extérieur, où la texture change plus brusquement qu'en intérieur. Mais la direction est claire : la prochaine étape de la reconstruction feedforward ne passe pas par l'ajout de gaussiennes, mais par un placement plus intelligent.