OmniXRef reúne texto, fotos e vídeos em um único editor de vídeo

A equipe do OmniXRef publicou um modelo unificado de edição de vídeo que aceita, em uma única solicitação, três tipos de sinal de controle: texto, imagens e outros vídeos. A quantidade de referências não é fixa. A qualidade é avaliada no novo benchmark OmniXRef-Bench, com cinco categorias de transferência de atributos: câmera, movimento, conteúdo, estilo e efeitos visuais. Os autores afirmam que o modelo supera tanto as soluções de base especializadas quanto os sistemas comerciais. O resumo do artigo não traz métricas concretas, então os números só podem ser encontrados no próprio paper.

A proposta ataca um problema conhecido dos editores de vídeo baseados em difusão. Um comando de texto como "remova as pessoas" funciona bem. Uma imagem de referência ajuda com a aparência de um objeto. Mas a instrução "filme como naquele vídeo" é difícil de transmitir em palavras: a trajetória da câmera, o ritmo do movimento ou o caráter de um efeito são mais fáceis de mostrar com outro vídeo. É justamente esse canal de controle que costuma ser o menos desenvolvido nas ferramentas atuais.

Como o modelo funciona

A base é a interface reference bank, um contêiner único que reúne todas as referências da solicitação, independentemente da modalidade e da quantidade. Para que o modelo não falhe quando há mais referências do que nos exemplos de treinamento, os autores propuseram a codificação posicional R^2-RoPE. Segundo eles, ela permite generalizar para um número maior de referências.

O OmniXRef-Model em si é um transformer de difusão de fluxo único. O vídeo original e o contexto multimodal preparado pelo MLLM entram nele como uma única sequência intercalada. Não há ramos separados para cada tipo de condição. Isso facilita a adição de novas combinações de entradas, embora o custo computacional dependa do comprimento da sequência, e os autores não o revelam no resumo.

Dados e benchmark

O principal gargalo está nos dados. Tríades naturais do tipo "vídeo original, vídeo de referência, resultado" praticamente não existem. Por isso, a equipe montou o OmniXRef-Data com pipelines sintéticos, separados para diferentes tarefas de edição e para suas combinações com referências. O treinamento seguiu um esquema de curriculum learning: primeiro tarefas simples e baixa resolução, depois aumento gradual da complexidade e da resolução.

O OmniXRef-Bench preenche uma lacuna na avaliação. Até agora, o vídeo como canal de controle quase não era medido de forma sistemática. Agora há cinco eixos de comparação:

• Camera: transferência do movimento da câmera;
• Motion: transferência do movimento dos objetos;
• Content: substituição ou adição de conteúdo no quadro;
• Style: transferência de estilo visual;
• VFX: transferência de efeitos visuais.

Ficha técnica resumida, segundo o resumo do artigo:

• entradas: texto, imagens e vídeos em quantidade variável;
• interface: reference bank;
• codificação posicional: R^2-RoPE;
• arquitetura: diffusion transformer de fluxo único mais contexto de um MLLM;
• dados: OmniXRef-Data sintético;
• treinamento: curriculum por complexidade e resolução;
• avaliação: OmniXRef-Bench, 5 categorias;
• resultado declarado: melhor que modelos task-specific e comerciais, sem números no resumo.

O que ainda não se sabe

A descrição não informa o número de parâmetros, a duração máxima e a resolução dos clipes, a velocidade de geração nem a licença. Os modelos comerciais usados na comparação também não são citados. Há ainda um risco metodológico: o benchmark foi criado pelos mesmos autores, e os dados de treinamento são sintéticos. Essa combinação costuma favorecer o modelo justamente na anotação própria. Um teste independente, com vídeos de terceiros, mostrará o nível real melhor do que qualquer tabela.

Como aplicar

Para equipes que produzem publicidade, videoclipes ou conteúdo para redes sociais, vale esperar a publicação do código e dos pesos, caso os autores os liberem, e testar o modelo com material próprio. O ideal é verificar primeiro a transferência de câmera e de movimento, que é onde a referência em vídeo leva vantagem sobre o texto. Para comparar com serviços comerciais, é prático usar os cinco eixos do OmniXRef-Bench e avaliar cada um separadamente, em vez de se basear na impressão geral.

Desenvolvedores de editores devem olhar com atenção a ideia do reference bank: uma interface única para diferentes referências é mais simples de integrar a um produto do que um conjunto de modos separados para cada tipo de condição.