UniAVC: совместный синтез аудио и видео через асимметричное расписание шума

Unified audio-video creation требует модели, способной выполнять синтез по текстовому описанию, двусторонню кросс-модальную генерацию и редактирование, управляемое инструкциями. Текущие системы опираются на парные корпусы текст-видео и текст-аудио, которые редко встречаются в интернете — а для задач редактирования их практически нет.

Проблема существующих подходов

Сегодняшние системы совместного аудио-видео синтеза потребляют парные данные неэффективно. Вместо того, чтобы использовать редкие пары для обучения кросс-модальному взаимодействию, модели тратят эти примеры на изучение простых задач генерации и редактирования отдельных модальностей — того, чему легко могут научить многочисленные одномодальные датасеты.

Кроме того, все существующие системы применяют единое расписание шума ко всем модальностям одновременно. Это игнорирует две критические особенности: видео имеет гораздо большую информационную плотность и требует продолжительного высокошумового периода, чтобы организовать пространственную структуру и динамику движения, тогда как редкое аудиосигнальное поле может стабилизироваться значительно раньше. Синхронное деноизирование оставляет асимметричные рабочие потоки (например, синтез видео с кондиционированием на аудио) полностью необученными.

Архитектура и методология

Исследователи из HKUST и их сотрудники разработали UniAVC, которая решает обе проблемы через двухэтапный процесс обучения.

На первом этапе каждая ветка (аудио и видео) обучается на обильных одномодальных датасетах до полной компетентности в генерации и редактировании. На втором этапе парные данные посвящаются исключительно использованию кросс-модального соответствия, позволяя системе связать две модальности без отвлечения на уже освоенные навыки.

Второй ключевой компонент — модально-развязанные расписания шума (modality-decoupled schedulers). Вместо единого шумового графика система независимо деформирует расписания шума от общего timestep для каждой модальности. Подзадачи с одной чистой модальностью непосредственно контролируют асимметричные конфигурации, обучая модель работать в любом направлении между аудио и видео.

Возможности и практическое применение

Эти архитектурные решения включают две ключевые способности:

• Целенаправленное редактирование (intent-aware editing) — система сохраняет одну модальность полностью нетронутой, используя её как управляющий сигнал для редактирования другой модальности • Самоусовершенствование после вывода (post-inference self-refinement) — регенерирует только неудовлетворительную ветку, сохраняя принятую ветку неизменной • Совместный синтез — текст-кондиционированное одновременное создание аудио и видео от одного набора весов

Уникальность UniAVC в том, что она охватывает несколько задач создания контента без специализированных адаптеров для каждой задачи.

Авторами работы являются Kien T. Pham (HKUST, лидирующий автор), Yuhao Liu, Chong Hou Choi, Zhenqi He, Yanghao Wang, Chenyang Lei, Rui Liu, Qifeng Chen и Long Chen. Исследование опубликовано 17 октября 2026 года с идентификатором arXiv 2610.24791 и получило признание в сообществе — репозиторий GitHub уже собрал 247 звёзд. Полный код и веса модели доступны на github.com/HKUST-LongGroup/UniAVC, интерактивная демонстрация находится на hkust-longgroup.github.io/UniAVC.