Étude de Shengqiong Wu et Hao Fei : plus de 600 travaux sur les modèles vidéo comme modèles du monde

Ces dernières années, les modèles vidéo ont progressé selon trois branches parallèles : les uns apprenaient à comprendre les vidéos, les autres à en générer, les derniers à prédire la dynamique du monde. L'équipe composée de Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang, Philip Torr et Hao Fei réunit ces branches dans une seule étude. Celle-ci couvre plus de 600 travaux, répartis en 19 tableaux, et pose une question commune à tous les courants : quel lien le modèle apprend-il entre la vidéo observée et le monde qui l'a produite ?

La vidéo, simple tronçon du monde

La métaphore de départ est simple. La vidéo est une trace partielle, compressée avec perte et ordonnée dans le temps d'un monde qui continue d'évoluer même lorsque la caméra ne le regarde pas. Une voiture passe derrière un mur : le cadre est vide, mais la voiture existe toujours dans le monde. Un modèle qui n'en tient pas compte peut produire une belle image sans rien comprendre à ce qui se passe.

D'où la distinction centrale de l'étude. La cohérence temporelle, c'est-à-dire la fluidité des images, concerne la trace elle-même. La cohérence du monde concerne ce que cette trace implique. L'une n'entraîne pas l'autre, et la plupart des métriques actuelles ne vérifient que la cohérence temporelle.

Quatre opérations plutôt que trois communautés

La littérature est organisée en quatre opérations complémentaires, chacune dotée d'une définition et de ses propres critères d'évaluation :

• Reading : l'état du monde est déduit de la vidéo (compréhension, reconnaissance, reconstruction des propriétés de la scène).
• Writing : une vidéo est synthétisée à partir de conditions données ou apprises (génération).
• Sharing : un même modèle lit et écrit, et la compréhension comme la génération reposent sur des mécanismes de modélisation communs.
• Interacting : l'état du monde est prédit et mis à jour en fonction des actions et de l'évolution des observations.

L'étude propose par ailleurs une taxonomie des modèles du monde vidéo selon deux axes. Le premier est l'espace de prédiction : observations ou état latent. Le second est l'interface de transition : passive, conditionnée par les actions ou interactive. Sora, V-JEPA et Genie 3 occupent chacun une case différente de cette grille, et aucun de ces modèles ne la couvre entièrement.

L'échelle de preuves et sept problèmes non résolus

Les auteurs proposent quatre niveaux pour évaluer les prétentions au titre de « modèle du monde » :

1. un résultat plausible ; 2. la fidélité aux conditions données ; 3. un état du monde cohérent ; 4. l'utilité pour la prise de décision.

Selon les auteurs, il faut atteindre au moins le troisième niveau pour qualifier un système de modèle du monde. Une vidéo plausible, et même un suivi précis du prompt, ne le remplacent pas.

Sept problèmes ouverts sont formulés, chacun accompagné d'une direction méthodologique et d'un protocole d'évaluation :

• la cohérence sur un horizon long ;
• l'ancrage physique et causal ;
• un effet de synergie mesurable entre compréhension et génération ;
• une évaluation standardisée ;
• un contrôle appris à partir de vidéo non annotée ;
• la généralisation à de nouvelles scènes et à de nouvelles incarnations (embodiment) ;
• les mondes stochastiques et les événements rares.

Le glissement d'ensemble que retrace l'étude va de la reconnaissance au niveau du clip et de la fidélité perceptive vers un état persistant, une évolution contrôlable de la scène, une exactitude physique et causale, et une évaluation fondée sur l'interaction et les décisions qui en découlent. Pour passer à l'échelle, les modèles du monde ont besoin d'interventions, soulignent les auteurs, et pas simplement de davantage de vidéos : l'observation seule ne montre pas ce qui se passerait avec une action différente.

Comment s'en servir

L'étude fait office de check-list pour lire la prochaine sortie d'un modèle vidéo. Si l'annonce ne contient que de belles démos et des métriques de type FVD, on en est aux premier et deuxième niveaux de l'échelle. Voici les questions à poser aux développeurs : un objet hors champ est-il conservé ? L'état de la scène change-t-il sous l'effet d'un agent ? Le modèle a-t-il été testé sur des décisions dans des tâches downstream, par exemple en robotique ou en planification ?

Pour une équipe qui choisit une direction de recherche ou d'investissement, les sept problèmes forment une carte toute prête des zones vides. La mémoire longue, la causalité et l'apprentissage du contrôle sur vidéo non annotée restent les points les plus faibles, et c'est précisément là que les travaux sont pour l'instant les moins nombreux.

Page du projet : vid-gen.github.io/video-world-model-survey. La liste des travaux est tenue dans le dépôt GitHub vid-gen/awesome-video-world-model, et les auteurs invitent à leur signaler les travaux manquants. L'article est paru le 22 octobre 2026 et figure dans la sélection quotidienne de Hugging Face Papers, où il a recueilli 218 upvotes.