OmniXRef : un framework unifié pour l'édition vidéo par références multimodales

L'intention créative d'un monteur se résume rarement à une seule référence. OmniXRef est un nouveau framework unifié d'Adobe Research pour l'édition vidéo, qui permet de combiner un nombre arbitraire d'instructions textuelles, d'images et de références vidéo. Chaque référence pilote un attribut visuel distinct : mouvement des personnages, mouvement de caméra, style, effets spéciaux ou contenu de l'image. Toutes les références sont appliquées à la vidéo source en une seule passe, garantissant un résultat d'édition cohérent.

Pourquoi les références vidéo comptent

Les détails visuels complexes et leur évolution dans le temps — la gestuelle des personnages, le mouvement de caméra, la dynamique des effets visuels — sont difficiles à décrire avec du seul texte ou une image statique. Une référence vidéo permet de transmettre avec précision les nuances de mouvement et de transformation visuelle que le modèle d'édition doit reproduire dans le contexte de la vidéo source.

Architecture et montée en échelle des données

Une architecture unifiée avec banque de références : chaque référence (textuelle, image ou vidéo) utilise une interface commune, composée de la définition de la tâche d'édition, d'une instruction et de données visuelles optionnelles. Cela permet au modèle de traiter de manière homogène des modalités hétérogènes.

OmniXRef-Model et transformeur de diffusion : le modèle s'appuie sur un transformeur de diffusion à flux unique, qui traite la vidéo source et l'ensemble des informations contextuelles multimodales sous forme d'une séquence entrelacée de tokens. L'encodage conjoint de toutes les références dans une même séquence crée une synergie entre les différents types d'édition.

R²-RoPE pour une longueur flexible : un mécanisme d'encodage positionnel spécifique (R²-RoPE) permet de généraliser à un nombre arbitraire de références multimodales, plutôt qu'à un nombre fixe, ce qui simplifie l'usage pratique.

Entraînement à grande échelle avec curriculum learning : la synthèse de données produit plus de 3 millions d'exemples d'édition vidéo pour différentes combinaisons de références, et 7 millions d'exemples d'édition textuelle, soit environ 10 millions d'exemples au total dans le jeu de données d'entraînement. Les auteurs ont appliqué un curriculum learning — une augmentation progressive de la complexité des tâches et de la résolution vidéo au fil de l'entraînement.

OmniXRef-Bench et résultats

Pour évaluer systématiquement la vidéo comme modalité de contrôle, les auteurs présentent OmniXRef-Bench, un benchmark de 125 cas d'édition répartis en cinq catégories clés :

• Camera — contrôle du mouvement et de l'angle de vue de la caméra • Motion — contrôle de la gestuelle et du mouvement des personnages • Content — modification du contenu de l'image (remplacements, ajouts d'objets) • Style — transfert de style visuel entre vidéos • Visual Effects (VFX) — application et intégration d'effets spéciaux

Le benchmark mesure trois métriques clés : la fidélité d'édition (dans quelle mesure le modèle a appliqué les instructions), la préservation de la vidéo source (quelle quantité d'information de la vidéo originale reste intacte) et la qualité visuelle avec vérification de la cohérence temporelle (absence de scintillement et d'artefacts entre les images).

Résultats : OmniXRef surpasse les modèles de référence spécialisés par tâche ainsi que les solutions commerciales. Le modèle obtient de meilleurs résultats que Seedance 2.5 et MiniMax-H3, tant en respect des références visuelles qu'en préservation de la vidéo source. Cela confirme l'efficacité de l'approche unifiée pour l'édition multimodale.

Projet et détails : https://oliver-cong02.github.io/OmniXRef.github.io/