UniAVC : synthèse conjointe audio-vidéo via un calendrier de bruit asymétrique

La création audio-vidéo unifiée exige un modèle capable d'effectuer une synthèse à partir de description textuelle, une génération bidirectionnelle inter-modalités et une édition pilotée par instructions. Les systèmes actuels s'appuient sur des corpus appariés texte-vidéo et texte-audio, rares sur Internet — et quasiment inexistants pour les tâches d'édition.

Le problème des approches existantes

Les systèmes de synthèse conjointe audio-vidéo actuels exploitent mal les données appariées. Plutôt que de réserver ces exemples rares à l'apprentissage de l'interaction inter-modalités, les modèles les gaspillent à apprendre des tâches simples de génération et d'édition de modalités isolées — des compétences que de nombreux jeux de données monomodaux pourraient enseigner bien plus facilement.

De plus, tous les systèmes existants appliquent un calendrier de bruit unique à toutes les modalités simultanément. Cela ignore deux spécificités critiques : la vidéo possède une densité d'information bien plus élevée et requiert une phase prolongée à fort bruit pour organiser la structure spatiale et la dynamique du mouvement, alors qu'un champ de signal audio, plus épars, peut se stabiliser bien plus tôt. Le débruitage synchrone laisse ainsi des flux de travail asymétriques (par exemple, la synthèse vidéo conditionnée par l'audio) totalement non entraînés.

Architecture et méthodologie

Des chercheurs de HKUST et leurs collaborateurs ont conçu UniAVC, qui résout ces deux problèmes via un processus d'entraînement en deux étapes.

Dans la première étape, chaque branche (audio et vidéo) s'entraîne sur d'abondants jeux de données monomodaux jusqu'à atteindre une pleine compétence en génération et en édition. Dans la seconde étape, les données appariées sont consacrées exclusivement à l'apprentissage de la correspondance inter-modalités, permettant au système de relier les deux modalités sans se disperser sur des compétences déjà maîtrisées.

Le second composant clé réside dans les calendriers de bruit découplés par modalité (modality-decoupled schedulers). Au lieu d'un graphique de bruit unique, le système déforme indépendamment les calendriers de bruit à partir d'un pas de temps commun pour chaque modalité. Des sous-tâches impliquant une seule modalité propre supervisent directement des configurations asymétriques, entraînant le modèle à fonctionner dans n'importe quelle direction entre audio et vidéo.

Capacités et applications pratiques

Ces choix architecturaux débouchent sur deux capacités clés :

• Édition ciblée (intent-aware editing) — le système préserve intégralement une modalité, l'utilisant comme signal de contrôle pour éditer l'autre • Auto-amélioration post-inférence (post-inference self-refinement) — régénère uniquement la branche insatisfaisante, en laissant la branche validée inchangée • Synthèse conjointe — création simultanée audio-vidéo conditionnée par le texte, à partir d'un seul jeu de poids

L'originalité d'UniAVC réside dans sa capacité à couvrir plusieurs tâches de création de contenu sans adaptateurs spécialisés par tâche.

Les auteurs de ces travaux sont Kien T. Pham (HKUST, auteur principal), Yuhao Liu, Chong Hou Choi, Zhenqi He, Yanghao Wang, Chenyang Lei, Rui Liu, Qifeng Chen et Long Chen. L'étude a été publiée le 17 octobre 2026 sous l'identifiant arXiv 2610.24791 et a trouvé un écho favorable dans la communauté — le dépôt GitHub a déjà recueilli 247 étoiles. Le code complet et les poids du modèle sont disponibles sur github.com/HKUST-LongGroup/UniAVC, et une démonstration interactive est accessible sur hkust-longgroup.github.io/UniAVC.