UniAVC объединяет генерацию и редактирование аудио и видео в одном наборе весов

UniAVC — новая работа, в которой одна модель отвечает сразу за три класса задач: совместный синтез аудио и видео по тексту, генерацию одной модальности из другой в обе стороны и редактирование обеих дорожек по инструкции. Всё это работает на одном наборе весов, без адаптеров под отдельные задачи. Авторы опираются на два решения: обучение по стадиям и раздельные расписания шума для звука и картинки. Работа появилась в Hugging Face Daily Papers. В аннотации нет числовых метрик, поэтому судить о качестве по цифрам пока рано.

Проблема: парных данных мало

Большинство существующих систем для совместной генерации аудио и видео обучаются на парных корпусах, то есть на роликах с синхронным звуком и описанием. Таких данных мало. Для редактирования их ещё меньше: нужны тройки «исходный материал, инструкция, результат» сразу в двух модальностях.

По мнению авторов, из-за этого модель тратит ёмкость не на то. Она учится генерировать видео отдельно и звук отдельно, хотя этому можно научить на огромных унимодальных датасетах. А настоящая цель, то есть согласованность картинки и звука, получает остаточное внимание.

Как устроено обучение

UniAVC действует в два этапа. Сначала каждая ветка, видео и аудио, обучается на унимодальных данных до полной компетенции в генерации и редактировании. Парные данные приберегаются для второй стадии, где модель осваивает кросс-модальные соответствия: что должно звучать при таком движении и как выглядит сцена при таком звуке.

Вторая половина идеи касается шума. Видео несёт гораздо больше информации, чем звук. Чтобы выстроить пространственную структуру и движение, ему нужен долгий период высокого шума. Разреженный аудиосигнал определяется раньше. Единое расписание для обеих модальностей вынуждает к компромиссу и вредит одной из них.

У синхронного шагового расписания есть и вторая слабость. Сценарии, где одна модальность служит условием для другой, например озвучка готового видео, в такой схеме остаются необученными. В UniAVC планировщики развязаны: каждый деформирует расписание шума независимо, хотя оба стартуют от общего таймстепа. Подзадачи с одной чистой модальностью напрямую задают обучающий сигнал для асимметричных конфигураций.

Что получилось в ТТХ

• Архитектура: диффузионная модель с двумя ветками, видео и аудио
• Обучение: сначала унимодальные данные, затем парные
• Расписание шума: раздельное для каждой модальности, общий таймстеп
• Задачи: совместный синтез по тексту, видео→аудио, аудио→видео, редактирование по инструкции
• Веса: один набор, без адаптеров под конкретные задачи
• Метрики, размер модели, длительность клипов: в аннотации не указаны

Два практических режима

Асимметричное обучение даёт два режима работы. Первый — редактирование с учётом намерения. Одна модальность остаётся нетронутой и служит ограничением для другой: можно поменять звуковую дорожку, не трогая картинку, и модель опирается на видео как на опору.

Второй режим — самоуточнение после инференса. Если видео получилось удачным, а звук нет, перегенерируется только проблемная ветка при зафиксированной принятой. Раньше для этого приходилось запускать генерацию заново целиком или подключать отдельную модель озвучки.

Что проверять в полной версии

Для продакшн-команд выигрыш выглядит так: правка одной дорожки без пересборки ролика сокращает число полных прогонов, а значит, и расходы на GPU. Но это следует из логики метода, а не из опубликованных замеров.

В статье стоит искать несколько вещей. Это сравнение с моделями, обученными на парных данных, оценка синхронизации звука и видео, длина и разрешение клипов, число параметров. Не менее важно, опубликуют ли авторы код и веса. Разработчикам мультимодальных диффузионных систем стоит присмотреться к самому приёму: раздельные расписания шума при общем таймстепе можно переносить на другие пары модальностей, где плотность информации различается так же сильно.