Zebra3D acelera la reconstrucción 3D hasta 7,1× con 1024 fotogramas sin entrenar desde cero

Los modelos que construyen una escena 3D a partir de un conjunto de fotografías sin poses de cámara conocidas chocan con el coste de la atención global, que crece de forma cuadrática con el número de fotogramas. El equipo de Zebra3D propone una forma de aliviar esta limitación sin entrenar desde cero. Según los autores, la aceleración de extremo a extremo alcanza 7,1× con 1024 vistas. Tras un ajuste fino, Zebra3D-VGGT obtiene un 80,5% de AUC@30 en RealEstate10K con una dispersión media de la atención del 94%. Es una diferencia de hasta 1,1 puntos porcentuales respecto al VGGT denso, ajustado con los mismos datos y el mismo calendario de entrenamiento.

Dónde se rompe el escalado

Los modelos 3D feed-forward como VGGT, HunyuanWorld-Mirror y π³ generan la geometría y las poses de cámara en una sola pasada. Para ello, los tokens de todos los fotogramas se atienden entre sí mediante atención global. Con decenas de vistas, el coste es asumible. Con cientos o miles de fotogramas, el coste de la atención pasa a dominar y el modelo deja de escalar con el número de imágenes de entrada.

Los autores partieron de una observación sobre cómo se distribuye la atención a lo largo de la profundidad de la red. El patrón resultó similar en las tres arquitecturas. Las etapas iniciales toleran relativamente bien la sustitución por atención lineal. En las etapas intermedias y finales, que son sensibles a ese cambio, la atención suele estar más concentrada: la información importante se agrupa en un número reducido de posiciones.

Cómo funciona Zebra3D

Sobre esa observación se construye un esquema híbrido por capas. En las etapas tolerantes se usa una atención con mayor peso del componente lineal. En las etapas sensibles se emplea atención dispersa por teselas: solo se calculan los bloques de tokens seleccionados. Para no perder el resto del contexto, las zonas no seleccionadas se representan mediante resúmenes de referencia (landmark summaries).

Hay un detalle importante para la práctica: la conversión puede hacerse sin entrenamiento. Los componentes lineales se ajustan mediante una transformación afín en forma cerrada, es decir, con una solución que no requiere descenso de gradiente. Si se necesita más precisión, se añade un ajuste fino opcional tras la conversión. Este combina la función de supervisión habitual de la tarea con la destilación de las salidas y de las características relacionales del modelo denso.

Cifras clave del resumen del artículo:

• tres modelos base evaluados: VGGT, HunyuanWorld-Mirror y π³;
• aceleración de hasta 7,1× con 1024 vistas de entrada, y la ganancia crece con el número de fotogramas;
• dispersión media de la atención del 94% en Zebra3D-VGGT tras el ajuste fino;
• 80,5% de AUC@30 en RealEstate10K, con una diferencia de no más de 1,1 p. p. respecto al VGGT denso con el mismo ajuste fino, es decir, en torno al 81,6%;
• las variantes sin entrenamiento se mantienen cerca de sus equivalentes densos en calidad de reconstrucción y precisión de las poses de cámara.

Qué cambiar en el pipeline

Para los equipos que trabajan con grandes conjuntos de imágenes (cartografía, escaneo de objetos y espacios, datos para robótica, generación de mundos), lo principal es que esta mejora no exige un nuevo preentrenamiento. Se puede tomar un checkpoint que ya se usa y ejecutar la conversión. La variante sin entrenamiento sirve para validar una hipótesis con rapidez. El ajuste fino hace falta cuando importa la precisión de las poses, y su coste no es comparable al de entrenar desde cero.

Hay también salvedades. Se trata de un preprint en arXiv y todavía no existe verificación independiente. La velocidad y la calidad las han medido los propios autores, y la aceleración máxima corresponde a un número extremo de vistas.

Con los 8–32 fotogramas habituales, la ganancia será bastante más modesta, dado que crece con el número de fotogramas. Antes de adoptarlo conviene medir la latencia y la memoria con los datos propios, comprobar dónde se sitúa en el modelo concreto la frontera de las capas sensibles y verificar la disponibilidad del código y los pesos. Si las cifras declaradas se confirman, procesar miles de fotogramas en una sola pasada pasará a ser una herramienta de trabajo y no una demostración de laboratorio.