CompactSplat distribuye las gaussianas 3D según el contenido del fotograma, no por píxel

Un grupo de investigadores ha publicado CompactSplat, un framework feedforward para reconstruir escenas 3D a partir de pocas vistas. El método no requiere optimización por escena y cambia la propia lógica con la que se colocan las gaussianas 3D. En lugar del esquema de «una o varias gaussianas por píxel», reparte las primitivas según el contenido de la imagen. El método se evaluó en tres benchmarks: RealEstate10K, DL3DV y ScanNet. Según los autores, supera a los enfoques anteriores tanto en las métricas estándar como en la consistencia del renderizado en alta resolución, y necesita bastantes menos primitivas.

Por qué una gaussiana por píxel es un derroche

En su variante feedforward, el 3D Gaussian Splatting generalizable funciona así: la red analiza los fotogramas de entrada y, en una sola pasada, produce un conjunto de gaussianas con el que después se renderiza la escena. No hay un ajuste largo a una habitación concreta ni minutos u horas de optimización. Muchos métodos actuales siguen este esquema, entre ellos pixelSplat y MVSplat: cada píxel de la imagen de entrada recibe su propia primitiva, y a veces varias.

Esa simplicidad tiene un coste. Una pared blanca, un cielo despejado o un suelo liso ocupan una enorme superficie del fotograma, pero apenas contienen información. Para ellos bastaría con una decena de gaussianas grandes, y la red gasta miles. El resultado es una representación inflada que consume memoria y ralentiza el renderizado. El segundo problema es la geometría. Los planos aparecen constantemente en escenas reales, pero el reparto uniforme de primitivas no aprovecha ese conocimiento. La estructura se modela peor de lo que podría.

La textura indica dónde colocar las primitivas

CompactSplat resuelve ambos problemas con un único mecanismo. Primero divide la imagen en regiones teniendo en cuenta la textura; después, un muestreo jerárquico decide cuántas gaussianas necesita cada región. Las zonas complejas, con detalles finos, reciben una distribución densa de primitivas. Las zonas planas se cubren con una «teselación» de gaussianas ampliadas, cuya escala se ajusta al tamaño de la región.

Así, el método aprovecha directamente el prior geométrico de las superficies planas, en lugar de confiar en que la red lo aprenda por sí sola. La distribución se vuelve adaptativa: el presupuesto de primitivas va adonde influye en la calidad de la imagen.

Un control deslizante entre calidad y memoria

Otro detalle práctico es el control dinámico de la dispersión durante la inferencia. La densidad de gaussianas se puede cambiar sin reentrenar la red. El mismo modelo puede ejecutarse en modo «pesado», para obtener la máxima calidad, o en modo ligero, cuando lo que importa es el uso de memoria. Normalmente, un compromiso así exige modelos distintos o un ajuste fino adicional.

Lo que se sabe del método:

• tarea: reconstrucción de una escena 3D a partir de vistas dispersas, sin optimización por escena;
• representación: 3D Gaussian Splatting, generación feedforward;
• componentes clave: división espacial según la textura, muestreo jerárquico, primitivas con escala modulada para las zonas planas;
• control: ajuste de la dispersión en inferencia sin reentrenamiento;
• benchmarks: RealEstate10K, DL3DV, ScanNet;
• resultado: mejores métricas y renderizado más estable en alta resolución, con menos primitivas.

Dónde dará frutos antes el ahorro de gaussianas

La compacidad importa allí donde hay que construir la escena con rapidez y mostrarla en hardware limitado. Es el caso de la AR y la VR en dispositivos móviles, de las vistas previas inmobiliarias (donde RealEstate10K ya se ha convertido en una prueba estándar) y de la navegación de robots, que necesitan un mapa del entorno sin un procesamiento largo. En estos escenarios, menos primitivas significan menos tráfico, menos memoria de vídeo y una mayor tasa de fotogramas.

Poder cambiar la densidad en tiempo de ejecución resulta especialmente útil para productos que cubren distintas clases de dispositivos. Un único modelo entrenado puede desplegarse en un servidor y en un teléfono, cambiando solo el parámetro de dispersión. Para los equipos que hoy mantienen varias versiones de su red de reconstrucción, esto reduce el trabajo de mantenimiento.

Quedan también preguntas abiertas que conviene comprobar al implantar el método: su comportamiento en escenas con muchas estructuras finas, en superficies reflectantes y transparentes, y en vídeos de exteriores, donde la textura cambia de forma más brusca que en interiores. Aun así, la dirección está clara: el siguiente paso en la reconstrucción feedforward pasa por colocar mejor las gaussianas, no por añadir más.