CausalAlign soigne l'« amnésie » des modèles vidéo : les erreurs de géométrie baissent de 20%

Les générateurs vidéo ont appris à produire des clips plausibles, mais ils souffrent encore d'un défaut gênant : la caméra « dérive ». Après quelques secondes, la trajectoire s'écarte de celle demandée, la géométrie de la scène se déforme, et tout ce qui est construit à partir d'une telle vidéo se met à produire des erreurs. L'équipe du PKU VaLuE Lab (Kai Zhu, Yiwu Zhong et leurs coauteurs) propose une méthode, CausalAlign. Elle réduit de plus de 20% les erreurs de cohérence géométrique de Wan2.2 et améliore de 10 points le taux de réussite des modèles d'action robotiques sur RoboCasa365.

Où le modèle perd la caméra

L'idée centrale du travail : les auteurs posent d'abord un diagnostic, et ne soignent qu'ensuite. Ils ont étudié comment un modèle vidéo par diffusion représente, utilise et conserve l'information sur le mouvement de la caméra (ego-motion). Ils s'appuient sur deux outils : des sondes linéaires, qui montrent si l'on peut extraire les paramètres du mouvement à partir des activations d'une couche, et des interventions causales, qui vérifient si cette connaissance influe réellement sur le résultat.

Les deux métriques se comportent de la même façon : elles montent, puis retombent, aussi bien selon les couches du réseau que selon les pas de débruitage. Le modèle s'appuie sur l'ego-motion aux stades intermédiaires, mais ne la retient plus à la fin. Les auteurs nomment cet effet « geometric state forgetting », c'est-à-dire un oubli de l'état géométrique. C'est, selon leur raisonnement, ce qui explique la dérive sur les longs horizons : le réseau « comprend » comment la caméra s'est déplacée, mais ne transfère pas cette compréhension dans les images finales.

Des delta-tokens plutôt que la scène entière

Le traitement repose sur l'alignement des représentations. Les chercheurs prennent un modèle fondation 3D, qui maîtrise bien la géométrie, et construisent à partir de ses features un espace de delta-tokens. Chaque token encode le changement entre deux images voisines, et non l'image elle-même. Le point est important : le fond statique occupe l'essentiel d'une vidéo, et si l'on aligne les features dans leur ensemble, le signal de mouvement se noie dans le contenu redondant de la scène. Les deltas forcent la supervision à se concentrer sur la dynamique.

L'alignement n'est pas appliqué à tout le réseau, mais aux endroits où l'ego-motion commence à s'estomper. La méthode renforce ainsi le maillon faible au lieu de réécrire tout le modèle.

Ce que cela donne

Le modèle de base est Wan2.2, affiné sur les jeux de données DL3DV et RealEstate10K. Principaux résultats :

• la précision du mouvement de caméra, la cohérence géométrique et la fluidité temporelle progressent nettement ;
• les erreurs de cohérence géométrique baissent de plus de 20% par rapport au modèle de base ;
• la qualité visuelle reste au même niveau : le gain ne s'obtient pas au prix d'images floues ou d'artefacts ;
• les world action models (WAMs) qui utilisent le générateur vidéo affiné gagnent 10 points de taux de réussite sur les tâches de manipulation mobile du benchmark RoboCasa365.

La pile de l'étude : Wan2.2 comme générateur vidéo de base, un modèle fondation 3D comme source de « vérité géométrique », DL3DV et RealEstate10K comme données d'entraînement, RoboCasa365 comme test sur des tâches incarnées.

Pourquoi c'est important au-delà de la vidéo

L'intérêt pour les modèles vidéo comme « modèles du monde » pour les robots grandit : le robot prédit le futur sous forme de vidéo, puis choisit son action. Si la caméra prédite dérive, l'action est calculée à partir d'un futur déformé, et l'erreur s'accumule de façon systématique. Le travail établit le lien directement : la géométrie s'est améliorée dans le générateur, et le pourcentage de tâches réussies par l'agent a augmenté.

La conclusion pratique pour les développeurs est la suivante. Avant d'augmenter les données et les paramètres, il vaut la peine de sonder son propre modèle pour trouver la couche et l'étape où le signal utile disparaît. L'alignement par deltas avec un expert 3D externe coûte peu comparé à un réentraînement from scratch, et il s'applique à d'autres modèles vidéo, pas seulement à Wan2.

2. Le code et la page du projet sont ouverts, la méthode peut donc être reproduite sur ses propres données. Les limites sont elles aussi évidentes : les résultats ont été obtenus sur des jeux de données précis et un seul benchmark, et la transposition à des vidéos plus longues et à des scènes quelconques reste à vérifier.