UniAVC: síntese conjunta de áudio e vídeo via cronogramas de ruído assimétricos

A criação unificada de áudio e vídeo exige um modelo capaz de realizar síntese a partir de descrições textuais, geração cruzada bidirecional entre modalidades e edição guiada por instruções. Os sistemas atuais dependem de corpora pareados de texto-vídeo e texto-áudio que são raros na internet — e, para tarefas de edição, praticamente inexistentes.

O problema das abordagens existentes

Os sistemas atuais de síntese conjunta de áudio e vídeo usam dados pareados de forma ineficiente. Em vez de reservar esses exemplos raros para aprender a interação entre modalidades, os modelos os gastam aprendendo tarefas simples de geração e edição de uma única modalidade — algo que os abundantes conjuntos de dados de modalidade única já conseguem ensinar.

Além disso, todos os sistemas existentes aplicam um único cronograma de ruído a todas as modalidades simultaneamente. Isso ignora dois aspectos críticos: o vídeo tem densidade de informação muito maior e precisa de um período prolongado de ruído alto para organizar a estrutura espacial e a dinâmica do movimento, enquanto o sinal de áudio, mais esparso, pode se estabilizar muito mais cedo. A remoção de ruído sincronizada deixa fluxos de trabalho assimétricos — como a síntese de vídeo condicionada por áudio — completamente sem treinamento.

Arquitetura e metodologia

Pesquisadores da HKUST e colaboradores desenvolveram o UniAVC, que resolve ambos os problemas por meio de um processo de treinamento em duas etapas.

Na primeira etapa, cada ramo (áudio e vídeo) treina com conjuntos abundantes de dados de uma única modalidade até atingir plena competência em geração e edição. Na segunda etapa, os dados pareados são dedicados exclusivamente a aprender a correspondência entre modalidades, permitindo que o sistema conecte as duas sem se distrair com habilidades já dominadas.

O segundo componente-chave são os agendadores de ruído desacoplados por modalidade. Em vez de um único cronograma de ruído, o sistema distorce de forma independente os cronogramas a partir de um timestep comum para cada modalidade. Subtarefas com uma única modalidade limpa supervisionam diretamente configurações assimétricas, treinando o modelo para operar em qualquer direção entre áudio e vídeo.

Capacidades e aplicações práticas

Essas escolhas arquitetônicas viabilizam duas capacidades-chave:

• Edição consciente da intenção (intent-aware editing) — o sistema mantém uma modalidade totalmente intacta, usando-a como sinal de controle para editar a outra • Autoaperfeiçoamento pós-inferência (post-inference self-refinement) — regenera apenas o ramo insatisfatório, mantendo inalterado o ramo já aceito • Síntese conjunta — criação simultânea de áudio e vídeo condicionada por texto a partir de um único conjunto de pesos

O que diferencia o UniAVC é que ele abrange várias tarefas de criação de conteúdo sem precisar de adaptadores especializados para cada uma.

Os autores do trabalho são Kien T. Pham (HKUST, autor principal), Yuhao Liu, Chong Hou Choi, Zhenqi He, Yanghao Wang, Chenyang Lei, Rui Liu, Qifeng Chen e Long Chen. A pesquisa foi publicada em 17 de outubro de 2026 com o identificador arXiv 2610.24791 e já conquistou reconhecimento da comunidade — o repositório no GitHub acumulou 247 estrelas. O código completo e os pesos do modelo estão disponíveis em github.com/HKUST-LongGroup/UniAVC, com uma demonstração interativa em hkust-longgroup.github.io/UniAVC.