LVSPM supera a VGGT en la estimación de poses de cámara con 16–256 fotogramas y no se degrada en escenas grandes

Un grupo de investigadores ha presentado LVSPM, un modelo que recibe un conjunto de fotografías sin calibrar y resuelve en una sola pasada dos tareas: estima las poses de las cámaras y sintetiza nuevos puntos de vista de la escena. La entrada va de 16 a 256 fotogramas. En tres benchmarks (RealEstate10k, Co3Dv2 y DL3DV), según los autores, supera a VGGT en precisión de estimación de poses y, en síntesis de vistas, supera en PSNR incluso a modelos a los que se les proporcionan las poses de cámara de antemano. El código está publicado.

Dos tareas en lugar de un pipeline

El camino clásico hacia nuevas vistas es este: primero, structure-from-motion calcula las poses de las cámaras; después, NeRF o Gaussian splats reconstruyen la escena a partir de esas poses. El error del primer paso se arrastra al segundo. LVSPM unifica ambas etapas en un único modelo feed-forward. Recibe las imágenes tal cual y devuelve poses y nuevas vistas, sin una optimización independiente para cada escena.

Las condiciones de entrenamiento son modestas. Solo hacen falta fotogramas RGB y anotaciones de pose. No se usa geometría 3D densa (mapas de profundidad, nubes de puntos), que los enfoques competidores suelen exigir. Conseguir esos datos a escala es caro, mientras que los vídeos con trayectorias de cámara conocidas son bastante más frecuentes.

Capas TTT y secuencias largas

La principal idea de ingeniería son las capas de test-time training. La atención, en la que se basan modelos como VGGT, crece de forma cuadrática con el número de fotogramas. Las capas TTT almacenan el contexto en pesos que se actualizan rápidamente, de modo que, según los autores, el modelo escala a cientos de vistas de entrada sin un aumento brusco de los costes. El resumen no incluye mediciones detalladas de memoria ni de velocidad; hay que buscarlas en el propio artículo.

La evaluación se hizo con 16, 32, 64, 128 y 256 vistas. En estimación de poses, LVSPM se mantiene por delante de VGGT en todo el rango, y la ventaja es mayor en los umbrales estrictos. Es un detalle importante. Muchos métodos aciertan una pose de forma aproximada, pero la reconstrucción exige precisión de grados y centímetros.

Un protocolo en el que los métodos de referencia colapsan

Los autores ponen un énfasis especial en el protocolo de evaluación de la síntesis de vistas. Lo describen como práctico: cuantos más fotogramas, mayor es la superficie de la escena. Los benchmarks habituales, con una zona pequeña y fija, ocultan un problema que sí aparece al captar una casa o una calle reales. Con este protocolo, LVSPM muestra la mejor calidad entre los métodos sin poses y la mantiene a medida que crece la escena, mientras que los métodos de referencia, en palabras de los autores, «se colapsan».

También se destaca el resultado en PSNR: el modelo supera a los métodos que dependen de poses, es decir, a los que reciben información adicional en la entrada. Esta afirmación habrá que verificarla con ejecuciones independientes, pero la dirección es clara.

Qué se sabe a partir del resumen

• Entrada: colecciones de imágenes sin calibrar, de 16 a 256 vistas. • Salida: poses de cámara y nuevas vistas de la escena, ambos resultados en un solo modelo. • Entrenamiento: solo RGB y supervisión de poses, sin ground truth 3D denso. • Recurso arquitectónico: capas de test-time training para contextos largos. • Benchmarks: RealEstate10k, Co3Dv2, DL3DV. • Comparación: mejor que VGGT en poses, sobre todo en umbrales estrictos; SOTA entre los métodos pose-free en calidad de síntesis. • Código: abierto en la página del proyecto.

A quién le puede servir

Para los equipos que trabajan con captura de foto y vídeo de inmuebles, cartografía, drones o gemelos digitales, el valor está en que desaparece la etapa independiente de calibración y SfM sobre cientos de fotogramas. La prueba práctica es sencilla: tomar el código abierto, procesar capturas propias con vibración de cámara, mala iluminación y texturas repetitivas, y comparar las poses con el resultado de COLMAP o VGGT. Son precisamente esos datos los que suelen mostrar si la generalización se sostiene fuera de los datasets académicos.

A los investigadores les interesa el paso hacia TTT como alternativa a la atención en tareas 3D. Si otros grupos confirman la ventaja en secuencias largas, el enfoque aparecerá pronto en modelos de reconstrucción afines. Por ahora se trata de un preprint sin revisión por pares, y el resumen no incluye las cifras clave de PSNR ni de error de poses. Hay que consultarlas en las tablas del artículo y en la reproducción de los resultados.