FineSplat: parches finos y agrupación dual para una síntesis de vistas más detallada

FineSplat: un nuevo nivel de detalle en la síntesis de vistas

Un equipo del KAIST liderado por Hyebin Kim, Hwasik Jeong, Joonhyuk Park, Gyeongjin Kang, Jungwoo Kim, Younghyun Kim y Eunbyung Park ha presentado FineSplat, una arquitectura feed-forward de 3D Gaussian Splatting que reconstruye escenas fotorrealistas con un nivel de detalle sin precedentes para este enfoque. El método funciona sin información sobre las poses de la cámara (pose-free), algo crítico para aplicaciones prácticas en escaneo y producción de medios.

Tres niveles de arquitectura

3D Gaussian Splatting promete una reconstrucción instantánea y de alta calidad, pero la geometría y la textura de grano fino siguen siendo un problema difícil. La atención multivista global exige un coste computacional prohibitivo con resoluciones de token elevadas. FineSplat aborda el problema de forma integral en tres niveles.

El primer nivel son las características de grano fino. El sistema trabaja con parches de imagen de alta resolución en lugar de características globales de la escena, extrayendo rasgos locales de regiones concretas del fotograma. Esto preserva mejor los detalles sutiles de textura y microgeometría.

El segundo nivel es una estrategia de atención con agrupación dual que combina dos formas complementarias de localidad: • Agrupación view-wise: interacción eficiente entre vistas geométricamente vecinas sin necesidad de un transformer global costoso • Agrupación espacial 3D: reconecta tokens relacionados en el espacio tridimensional de la escena que, con una simple estrategia view-wise, no llegarían a interactuar

El tercer nivel utiliza el error de reconstrucción como señal explícita de retroalimentación. El feedback basado en renderizado aplica una comparación directa, basada en el renderizado, con las imágenes objetivo, proporcionando una corrección geométrica y textural explícita. Esto supera las limitaciones de la predicción feed-forward de un solo paso. Un esquema compacto de generación de gaussianas conserva las ventajas de las características de grano fino sin incrementar innecesariamente el número de elementos primitivos.

Resultados y alcance de la aplicación

FineSplat alcanza el estado del arte con un margen considerable, recuperando geometría y textura más ricas con aproximadamente 4× menos gaussianas que los métodos existentes. El método es igualmente eficaz tanto para la síntesis de nuevas vistas con poses conocidas (posed novel view synthesis) como para el escenario pose-free.

El ecosistema de métodos similares en 2026

FineSplat se inserta en una clase de enfoques feed-forward de 3DGS en rápido crecimiento. Trabajos estrechamente relacionados de este año incluyen: • DeltaSplat — refinamiento iterativo de gaussianas para 3D Gaussian Splatting feed-forward pose-free • InfiniSplat v2 — análisis y mejora del 3DGS feed-forward para la síntesis desde vistas arbitrarias • GrapeSplat — reconstrucción geometry-grounded mediante codificación pose-free amalgamada en 3DGS • AIMS — síntesis multivista con anclas integradas para un renderizado de nuevas vistas escalable • Anchor3DGS — 3D Gaussian Splatting feed-forward con una representación compacta basada en anclas • Tele360 — reconstrucción humana en tiempo real a partir de cámaras escasas y sin pose • CoTL — representación compacta y ligera en tokens para escenas 3D

El trabajo se publicó el 18 de octubre de 2026 y ha recibido 36 votos positivos en Hugging Face y 32 estrellas en GitHub. El código fuente y una demostración interactiva están disponibles en github.com/hyebinny/FineSplat y hyebinny.github.io/FineSplat/