CausalAlign cura el "olvido" de los modelos de video: los errores de geometría caen un 20%

Los generadores de video han aprendido a producir clips convincentes, pero conservan una dolencia molesta: la cámara "se va". Al cabo de unos segundos, la trayectoria se desvía de la prevista, la geometría de la escena se deforma y todo lo que se construye sobre ese video empieza a fallar. Un equipo de PKU VaLuE Lab (Kai Zhu, Yiwu Zhong y coautores) propone el método CausalAlign. Reduce los errores de consistencia geométrica de Wan2.2 en más de un 20% y eleva el éxito de los modelos de acción robóticos en 10 puntos en RoboCasa365.

Dónde el modelo pierde la cámara

La idea central del trabajo es diagnosticar primero y tratar después. Los autores investigaron cómo un modelo de video por difusión representa, usa y conserva la información sobre el movimiento de cámara (ego-motion). Usaron dos herramientas: sondas lineales, que muestran si se pueden extraer los parámetros de movimiento de las activaciones de una capa, e intervenciones causales, que comprueban si ese conocimiento afecta realmente al resultado.

Ambas métricas se comportan igual: suben y luego bajan, tanto a lo largo de las capas de la red como de los pasos de denoising. El modelo se apoya en el ego-motion en las etapas intermedias, pero no lo conserva hasta el final. Los autores llamaron a este efecto geometric state forgetting, es decir, olvido geométrico del estado. Según su lógica, esto explica la deriva en horizontes largos: la red "entiende" cómo se movió la cámara, pero no traslada ese entendimiento a los fotogramas finales.

Delta-tokens en lugar de la escena completa

El tratamiento se basa en alinear representaciones. Los investigadores toman un modelo fundacional 3D que conoce bien la geometría y construyen, a partir de sus características, un espacio de delta-tokens. Cada token codifica el cambio entre fotogramas adyacentes, no el fotograma en sí. Esto es clave: el fondo estático ocupa la mayor parte del video, y si se alinean las características en su totalidad, la señal de movimiento se diluye en el contenido redundante de la escena. Las deltas obligan a la supervisión a centrarse justamente en la dinámica.

La alineación no se aplica a toda la red, sino en los puntos donde el ego-motion empieza a desvanecerse. Así el método refuerza el eslabón débil sin reescribir el modelo por completo.

Los resultados

El modelo base fue Wan2.2, ajustado con los conjuntos de datos DL3DV y RealEstate10K. Resultados clave:

• la precisión del movimiento de cámara, la consistencia geométrica y la suavidad temporal mejoraron notablemente;
• los errores de consistencia geométrica cayeron más de un 20% respecto al modelo base;
• la calidad visual se mantuvo al mismo nivel, es decir, la mejora no se logró a costa de borrosidad o artefactos;
• los world action models (WAMs) que usan el generador de video ajustado mostraron un aumento de 10 puntos de éxito en tareas de manipulación móvil del benchmark RoboCasa365.

Stack de la investigación: Wan2.2 como generador de video base, un modelo fundacional 3D como fuente de "verdad geométrica", DL3DV y RealEstate10K como datos de entrenamiento, y RoboCasa365 como prueba en tareas corporizadas.

Por qué importa más allá del video

El interés por los modelos de video como "modelos del mundo" para robots va en aumento: el robot predice el futuro en forma de video y elige una acción a partir de eso. Si la cámara predicha deriva, la acción se calcula sobre un futuro distorsionado, y el error se acumula de forma sistemática. Este trabajo muestra la conexión de manera directa: mejorar la geometría en el generador eleva el porcentaje de tareas exitosas del agente.

La conclusión práctica para los desarrolladores es la siguiente. Antes de aumentar datos y parámetros, conviene sondear el propio modelo y encontrar la capa y el paso donde la señal necesaria se pierde. La alineación por deltas con un experto 3D externo es económica en comparación con reentrenar desde cero, y es aplicable a otros modelos de video, no solo a Wan2.2. El código y la página del proyecto están abiertos, de modo que el método puede reproducirse con datos propios. Las limitaciones también son evidentes: los resultados se obtuvieron con conjuntos de datos concretos y un único benchmark, y la transferencia a videos más largos y escenas arbitrarias aún está por comprobar.