RLSplat apprend au 3D Gaussian Splatting à économiser : jusqu'à 4,1× plus rapide et 9,6× moins de mémoire

Le 3D Gaussian Splatting feed-forward (FF3DGS) reconstruit une scène en trois dimensions à partir d'un ensemble de photos en une seule passe de réseau de neurones, sans longue optimisation propre à chaque scène. RLSplat y ajoute ce que ses prédécesseurs n'offraient pas : la latence, la mémoire de pointe et la taille de la représentation diminuent linéairement avec le budget de gaussiennes fixé. En zero-shot, il devance les approches précédentes à budget contrôlé quel que soit le budget, et surpasse le meilleur baseline même avec quatre fois moins de gaussiennes. Avec de petits budgets, il est jusqu'à 4,1 fois plus rapide et utilise 9,6 fois moins de mémoire en pic.

L'élagage qui engloutit toute l'économie

L'idée du contrôle de budget en FF3DGS est simple : la scène produite doit respecter une limite de stockage ou de temps de rendu. Un téléphone ou un casque a besoin d'une scène légère, tandis qu'un serveur aux ressources confortables peut se permettre une scène dense. Les méthodes existantes offrent ce réglage, mais avec un revers. Pour obtenir, par exemple, 50 000 gaussiennes, elles prédisent d'abord un ensemble dense, puis sélectionnent ou suppriment le surplus.

Résultat : le fichier final est bien petit, mais le chemin pour l'obtenir coûte toujours aussi cher. La latence d'inférence et la mémoire de pointe restent quasi constantes quel que soit le budget. Pour un appareil dont le problème est précisément la mémoire pendant l'inférence, un tel « budget » ne résout rien : les ressources pour l'étape dense restent nécessaires.

Comment RLSplat distribue les gaussiennes

Les auteurs suppriment l'étape « beaucoup d'abord, moins ensuite ». Au lieu d'un élagage ou d'une sélection, RLSplat entraîne une politique d'allocation. Elle répartit le budget donné entre les zones locales de la scène et produit exactement le nombre de gaussiennes demandé. Les zones complexes en reçoivent davantage, les zones simples moins.

La seconde partie de la solution concerne l'affinage des paramètres. Les gaussiennes passent par un resource-linear Gaussian decoding : chacune porte son attention uniquement sur ses plus proches voisines, trouvées par une recherche hiérarchique efficace. Une attention complète entre toutes les gaussiennes croîtrait plus vite que le nombre d'éléments eux-mêmes. L'attention locale rend le coût de décodage linéaire : quand le budget diminue, le temps et la mémoire diminuent aussi.

Principales caractéristiques de l'article :

• Budget : le nombre de gaussiennes est fixé à l'inférence et produit avec exactitude, sans sélection a posteriori.
• Passage à l'échelle : la taille de la représentation, la latence et la mémoire de pointe diminuent linéairement avec le budget.
• Vitesse : jusqu'à 4,1× plus rapide que les méthodes précédentes avec de petits budgets.
• Mémoire : jusqu'à 9,6× moins de mémoire en pic avec de petits budgets.
• Qualité : meilleure que les méthodes précédentes à budget contrôlé, pour chaque budget, en évaluation zero-shot.
• Efficacité : surpasse le meilleur baseline avec 4 fois moins de gaussiennes.

Où l'appliquer

Le résultat concerne surtout les scénarios soumis à un plafond de ressources strict : AR et VR sur casques autonomes, applications mobiles de numérisation rapide de pièces, robotique où la carte doit être mise à jour à bord, et services cloud qui traitent des milliers de scènes en parallèle. Dans ce dernier cas, une économie de mémoire de pointe d'un facteur neuf permet de loger davantage de tâches sur un même accélérateur.

Pour les ingénieurs, la conclusion est pratique. Si vous choisissez un pipeline de reconstruction pour un appareil à mémoire limitée, il faut regarder non seulement la taille de la scène finale, mais aussi l'évolution de la latence et du pic de consommation quand le budget baisse. Sur ce critère, l'approche par sélection dans un ensemble dense paraît plus faible. L'approche par allocation directe selon le budget cible, comme dans RLSplat, permet d'ajuster la qualité au matériel en douceur : on réduit le budget, on obtient un résultat proportionnellement plus rapide et plus léger.

Le fait que le gain soit obtenu en zero-shot, c'est-à-dire sans réentraînement sur de nouvelles données, fait de cette méthode une candidate pour les produits où les scènes ne sont pas connues d'avance. Reste à vérifier le comportement de la politique d'allocation sur des scènes très grandes ou atypiques, mais le principe est déjà clair : le coût d'inférence doit évoluer avec le résultat demandé.