Revisión de Shengqiong Wu y Hao Fei: más de 600 trabajos sobre los modelos de vídeo como modelos del mundo

En los últimos años, los modelos de vídeo han avanzado por tres ramas paralelas: unos aprendían a entender clips, otros a generarlos y otros a predecir la dinámica del mundo. El equipo formado por Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang, Philip Torr y Hao Fei ha reunido estas ramas en una sola revisión. El trabajo abarca más de 600 artículos, organizados en 19 tablas, y plantea una pregunta común a todas las líneas: qué relación aprende el modelo entre el vídeo observado y el mundo que lo produjo.

El vídeo como fragmento truncado del mundo

La metáfora de partida es sencilla. El vídeo es una huella parcial del mundo, comprimida con pérdidas y ordenada en el tiempo, y ese mundo sigue cambiando incluso cuando la cámara no lo está mirando. Un coche pasa detrás de un muro y el encuadre queda vacío, pero en el mundo el coche sigue existiendo. Un modelo que no tiene esto en cuenta puede producir una imagen bonita sin tener ninguna representación de lo que ocurre.

De ahí surge la distinción clave de la revisión. La coherencia temporal, es decir, la fluidez de los fotogramas, se refiere a la huella en sí. La consistencia del mundo se refiere a lo que esa huella implica. Una cosa no se deriva de la otra, y la mayoría de las métricas actuales comprueba solo la coherencia.

Cuatro operaciones en lugar de tres comunidades

La literatura se organiza en cuatro operaciones complementarias, cada una con su definición y sus propios criterios de evaluación:

• Reading: del vídeo se infiere el estado del mundo (comprensión, reconocimiento, recuperación de propiedades de la escena).
• Writing: se sintetiza un vídeo a partir de condiciones dadas o aprendidas (generación).
• Sharing: un mismo modelo lee y escribe, y la comprensión y la generación se unen mediante mecanismos de modelado compartidos.
• Interacting: el estado del mundo se predice y se actualiza en función de las acciones y de las observaciones cambiantes.

Además, los autores proponen una taxonomía de los modelos del mundo en vídeo según dos ejes. El primero es el espacio de predicción: observaciones o estado latente. El segundo es la interfaz de transiciones: pasiva, condicionada por acciones o interactiva. Sora, V-JEPA y Genie 3 ocupan cada uno una casilla distinta de esta cuadrícula, y ninguno de los modelos la cubre por completo.

La escalera de evidencias y siete problemas sin resolver

Los autores proponen cuatro peldaños para evaluar las afirmaciones de que un sistema es un «modelo del mundo»:

1. resultado verosímil; 2. fidelidad a las condiciones dadas; 3. estado del mundo consistente; 4. utilidad para la toma de decisiones.

A juicio de los autores, para llamar modelo del mundo a un sistema hace falta como mínimo el tercer peldaño. Un vídeo verosímil, e incluso el seguimiento preciso del prompt, no lo sustituyen.

Los siete problemas abiertos se formulan junto con la dirección de los métodos y el protocolo de evaluación de cada uno:

• consistencia a largo plazo;
• fundamento físico y causal;
• efecto sinérgico medible de unir comprensión y generación;
• evaluación estandarizada;
• control aprendido a partir de vídeo sin etiquetar;
• generalización a escenas y cuerpos (embodiment) nuevos;
• mundos estocásticos y sucesos poco frecuentes.

El cambio general que traza la revisión va del reconocimiento a nivel de clip y la fidelidad perceptiva hacia un estado persistente, una evolución controlable de la escena, la corrección física y causal, y una evaluación basada en la interacción y en las decisiones posteriores. Para escalar los modelos del mundo, subrayan los autores, se necesitan intervenciones; no basta con más vídeos: la observación por sí sola no muestra qué ocurriría con otra acción.

Cómo usar este trabajo

La revisión sirve como lista de comprobación al leer el próximo lanzamiento de un modelo de vídeo. Si el anuncio solo incluye demos vistosas y métricas del tipo FVD, estamos ante los peldaños uno o dos de la escalera. Estas son las preguntas que conviene hacer a los desarrolladores: si el objeto se conserva fuera de plano, si el estado de la escena cambia bajo la acción de un agente y si el modelo se ha probado en decisiones de tareas downstream, por ejemplo en robótica o planificación.

Para un equipo que elige una línea de investigación o de inversión, los siete problemas ofrecen un mapa ya hecho de los huecos. La memoria larga, la causalidad y el aprendizaje del control con vídeo sin etiquetar siguen siendo los puntos más débiles, y es ahí donde hasta ahora hay menos trabajos.

Página del proyecto de la revisión: vid-gen.github.io/video-world-model-survey; la lista de trabajos se mantiene en el repositorio vid-gen/awesome-video-world-model de GitHub. Los autores piden que les envíen los trabajos que se hayan omitido. El artículo se publicó el 22 de octubre de 2026 y entró en la selección diaria de Hugging Face Papers, donde acumuló 218 upvotes.