UniAVC: síntesis conjunta de audio y video mediante calendarios de ruido asimétricos

La creación unificada de audio y video exige un modelo capaz de realizar síntesis a partir de descripciones textuales, generación cruzada bidireccional entre modalidades y edición guiada por instrucciones. Los sistemas actuales dependen de corpus emparejados de texto-video y texto-audio que escasean en internet, y que para tareas de edición prácticamente no existen.

El problema de los enfoques existentes

Los sistemas actuales de síntesis conjunta de audio y video aprovechan mal los datos emparejados. En lugar de reservar estos ejemplos escasos para aprender la interacción entre modalidades, los modelos los gastan en tareas sencillas de generación y edición de una sola modalidad, algo que los abundantes conjuntos de datos de una sola modalidad podrían enseñar sin problema.

Además, todos los sistemas existentes aplican un único calendario de ruido a todas las modalidades al mismo tiempo. Esto ignora dos aspectos críticos: el video tiene una densidad de información mucho mayor y necesita un periodo prolongado de ruido alto para organizar la estructura espacial y la dinámica del movimiento, mientras que la señal de audio, más escasa, puede estabilizarse mucho antes. La eliminación de ruido sincrónica deja completamente sin entrenar flujos de trabajo asimétricos, como la síntesis de video condicionada por audio.

Arquitectura y metodología

Investigadores de HKUST y sus colaboradores desarrollaron UniAVC, que resuelve ambos problemas mediante un proceso de entrenamiento en dos etapas.

En la primera etapa, cada rama (audio y video) se entrena con abundantes conjuntos de datos de una sola modalidad hasta alcanzar plena competencia en generación y edición. En la segunda etapa, los datos emparejados se dedican exclusivamente a aprender la correspondencia entre modalidades, lo que permite al sistema conectar ambas sin distraerse con habilidades ya dominadas.

El segundo componente clave son los calendarios de ruido desacoplados por modalidad. En lugar de un único calendario de ruido, el sistema deforma de manera independiente los calendarios respecto a un timestep común para cada modalidad. Las subtareas con una sola modalidad limpia supervisan directamente configuraciones asimétricas, entrenando al modelo para trabajar en cualquier dirección entre audio y video.

Capacidades y aplicaciones prácticas

Estas decisiones de arquitectura habilitan dos capacidades clave:

• Edición consciente de la intención (intent-aware editing) — el sistema mantiene una modalidad completamente intacta, usándola como señal de control para editar la otra • Autorrefinamiento posterior a la inferencia (post-inference self-refinement) — regenera solo la rama insatisfactoria, dejando intacta la rama aceptada • Síntesis conjunta — creación simultánea de audio y video condicionada por texto a partir de un único conjunto de pesos

Lo que distingue a UniAVC es que abarca varias tareas de creación de contenido sin necesitar adaptadores especializados para cada una.

Los autores del trabajo son Kien T. Pham (HKUST, autor principal), Yuhao Liu, Chong Hou Choi, Zhenqi He, Yanghao Wang, Chenyang Lei, Rui Liu, Qifeng Chen y Long Chen. La investigación se publicó el 17 de octubre de 2026 con el identificador arXiv 2610.24791 y ya ha ganado reconocimiento en la comunidad: su repositorio en GitHub acumula 247 estrellas. El código completo y los pesos del modelo están disponibles en github.com/HKUST-LongGroup/UniAVC, y hay una demostración interactiva en hkust-longgroup.github.io/UniAVC.