OmniXRef: um framework unificado para edição de vídeo com referências multimodais

A intenção criativa de um editor raramente cabe em uma única referência. O OmniXRef é um novo framework unificado da Adobe Research para edição de vídeo que permite combinar um número arbitrário de instruções de texto, imagens e referências de vídeo. Cada referência controla um atributo visual específico: o movimento dos personagens, o movimento de câmera, o estilo, os efeitos especiais ou o conteúdo do quadro. Todas as referências são aplicadas ao vídeo original em uma única passagem, garantindo um resultado de edição coerente.

Por que as referências em vídeo importam

Detalhes visuais complexos e sua evolução ao longo do tempo — a fisicalidade dos personagens, o movimento de câmera, a dinâmica dos efeitos visuais — são difíceis de descrever apenas com texto ou com uma imagem estática. Uma referência em vídeo permite transmitir com precisão as nuances de movimento e transformação visual que o modelo de edição precisa reproduzir no contexto do vídeo original.

Arquitetura e escalonamento de dados

Uma arquitetura unificada com um banco de referências: cada referência — de texto, imagem ou vídeo — usa uma interface comum composta pela definição da tarefa de edição, a instrução e dados visuais opcionais. Isso permite que o modelo processe modalidades heterogêneas de forma uniforme.

OmniXRef-Model com um transformador de difusão: o modelo usa um transformador de difusão de fluxo único que processa o vídeo original e todo o contexto multimodal como uma sequência intercalada de tokens. A codificação conjunta de todas as referências em uma única sequência gera sinergia entre os diferentes tipos de edição.

R²-RoPE para comprimento flexível: um mecanismo dedicado de codificação posicional, o R²-RoPE, permite a generalização para um número arbitrário de referências multimodais em vez de um número fixo, o que simplifica o uso prático.

Treinamento em grande escala com curriculum learning: a síntese de dados produziu mais de 3 milhões de exemplos de edição de vídeo para diferentes combinações de referências e 7 milhões de exemplos de edição de texto, totalizando cerca de 10 milhões de exemplos no conjunto de treinamento. Os autores aplicaram curriculum learning — aumentando progressivamente a dificuldade das tarefas e a resolução do vídeo ao longo do treinamento.

OmniXRef-Bench e resultados

Para avaliar sistematicamente o vídeo como modalidade de controle, os autores apresentaram o OmniXRef-Bench, um benchmark de 125 casos de edição distribuídos em cinco categorias principais:

• Camera — controle do movimento e do ângulo da câmera • Motion — controle da fisicalidade e do movimento dos personagens • Content — alteração do conteúdo do quadro (substituição ou adição de objetos) • Style — transferência de estilo visual entre vídeos • Visual Effects (VFX) — aplicação e integração de efeitos especiais

O benchmark mede três métricas principais: fidelidade da edição (o quanto o modelo seguiu as instruções), preservação do vídeo original (quanta informação do vídeo de origem permanece intacta) e qualidade visual com verificação de consistência temporal (ausência de cintilação e artefatos entre quadros).

Resultados: o OmniXRef supera tanto os modelos de referência específicos para cada tarefa quanto as soluções comerciais. O modelo apresenta resultados melhores do que o Seedance 2.5 e o MiniMax-H3, tanto na obediência às referências visuais quanto na preservação do vídeo original, o que confirma a eficácia de uma abordagem unificada para edição multimodal.

Projeto e detalhes: https://oliver-cong02.github.io/OmniXRef.github.io/