OmniXRef réunit texte, photo et vidéo dans un seul éditeur de clips

L'équipe d'OmniXRef a publié un modèle unifié d'édition vidéo qui accepte, dans une seule requête, trois types de signaux de contrôle : du texte, des images et d'autres vidéos. Le nombre de références n'est pas fixé. La qualité est évaluée sur un nouveau benchmark, OmniXRef-Bench, qui couvre cinq catégories de transfert d'attributs : caméra, mouvement, contenu, style et effets visuels. Les auteurs écrivent que leur modèle dépasse à la fois les solutions de référence spécialisées et les systèmes commerciaux. L'abstract ne donne aucune métrique précise : il faudra chercher les chiffres dans l'article lui-même.

L'idée répond à un problème classique des éditeurs vidéo à base de diffusion. Une commande textuelle du type « supprime les gens » fonctionne bien. Une image de référence aide à reproduire l'apparence d'un objet. Mais une phrase comme « filme comme dans ce clip » ne se traduit pas en mots : la trajectoire de la caméra, le rythme d'un mouvement ou le caractère d'un effet se montrent plus facilement avec une autre vidéo. C'est précisément ce canal de contrôle qui reste, en général, le moins développé dans les outils existants.

Comment le modèle est conçu

Au cœur du système se trouve l'interface reference bank. Il s'agit d'un conteneur unique dans lequel sont rassemblées toutes les références de la requête, quelle que soit leur modalité et leur nombre. Pour éviter que le modèle ne décroche lorsqu'il reçoit plus de références que dans les exemples d'entraînement, les auteurs ont proposé l'encodage positionnel R^2-RoPE. Selon eux, il permet de généraliser à un plus grand nombre de références.

OmniXRef-Model est un transformeur de diffusion à flux unique. La vidéo source et le contexte multimodal préparé par le MLLM lui sont fournis dans une seule séquence entrelacée. Il n'existe pas de branches distinctes pour chaque type de condition. Cela facilite l'ajout de nouvelles combinaisons d'entrées, même si le coût de calcul dépend de la longueur de la séquence, que les auteurs ne précisent pas dans l'abstract.

Données et benchmark

Le principal goulot d'étranglement se situe ici du côté des données. Les triplets naturels « vidéo source, référence vidéo, résultat » n'existent quasiment pas. L'équipe a donc construit OmniXRef-Data à l'aide de pipelines synthétiques, distincts selon les tâches d'édition et leurs combinaisons avec des références. L'entraînement a suivi un schéma de curriculum learning : d'abord des tâches simples et une basse résolution, puis une complexité et une résolution croissantes.

OmniXRef-Bench comble une lacune en matière d'évaluation. Jusqu'ici, la vidéo comme canal de contrôle n'était presque jamais mesurée de façon systématique. Il existe désormais cinq axes de comparaison :

• Camera : transfert du mouvement de la caméra ;
• Motion : transfert du mouvement des objets ;
• Content : remplacement ou ajout de contenu dans l'image ;
• Style : transfert du style visuel ;
• VFX : transfert d'effets visuels.

Fiche technique succincte, d'après l'abstract :

• entrées : texte, images, vidéos en nombre variable ;
• interface : reference bank ;
• encodage positionnel : R^2-RoPE ;
• architecture : diffusion transformer à flux unique plus contexte fourni par un MLLM ;
• données : OmniXRef-Data, synthétique ;
• entraînement : curriculum selon la complexité et la résolution ;
• évaluation : OmniXRef-Bench, 5 catégories ;
• résultat revendiqué : supérieur aux modèles task-specific et commerciaux, sans chiffres dans l'abstract.

Ce que l'on ignore encore

La description ne mentionne ni le nombre de paramètres, ni la durée maximale et la résolution des clips, ni la vitesse de génération, ni la licence. Les modèles commerciaux utilisés pour la comparaison ne sont pas nommés non plus. Il existe aussi un risque méthodologique : le benchmark a été créé par les mêmes auteurs, et les données d'entraînement sont synthétiques. Cette combinaison gagne souvent précisément sur ses propres annotations. Un test indépendant sur des vidéos tierces renseignera mieux sur le niveau réel que n'importe quel tableau.

Comment l'appliquer

Pour une équipe qui produit de la publicité, des clips ou du contenu pour les réseaux sociaux, il est logique d'attendre la publication du code et des poids, si les auteurs les mettent en ligne, puis de tester le modèle sur son propre matériel. Il faut vérifier en priorité le transfert de la caméra et du mouvement : c'est là que la référence vidéo offre un avantage sur le texte. Pour comparer avec des services commerciaux, le plus pratique est de reprendre les cinq axes d'OmniXRef-Bench et d'évaluer chacun séparément, plutôt que de se fier à une impression générale.

Les développeurs d'éditeurs gagneraient à examiner l'idée de reference bank : une interface unique pour différentes références est plus simple à intégrer dans un produit qu'un ensemble de modes distincts pour chaque type de condition.