OmniXRef: un framework unificado para la edición de video con referencias multimodales

La intención creativa de un editor rara vez cabe en una sola referencia. OmniXRef es un nuevo framework unificado de Adobe Research para la edición de video que permite combinar un número arbitrario de instrucciones de texto, imágenes y referencias de video. Cada referencia controla un atributo visual distinto: el movimiento de los personajes, el movimiento de cámara, el estilo, los efectos especiales o el contenido del cuadro. Todas las referencias se aplican al video original en una sola pasada, lo que garantiza un resultado de edición coherente.

Por qué importan las referencias en video

Los detalles visuales complejos y su evolución en el tiempo —la fisicidad de los personajes, el movimiento de cámara, la dinámica de los efectos visuales— son difíciles de describir solo con texto o con una imagen estática. Una referencia en video permite transmitir con precisión los matices de movimiento y transformación visual que el modelo de edición debe reproducir en el contexto del video original.

Arquitectura y escalado de datos

Una arquitectura unificada con un banco de referencias: cada referencia —de texto, imagen o video— utiliza una interfaz común compuesta por la definición de la tarea de edición, la instrucción y datos visuales opcionales. Esto permite que el modelo procese modalidades heterogéneas de forma uniforme.

OmniXRef-Model con un transformador de difusión: el modelo emplea un transformador de difusión de flujo único que procesa el video original y todo el contexto multimodal como una secuencia intercalada de tokens. La codificación conjunta de todas las referencias en una sola secuencia genera sinergia entre los distintos tipos de edición.

R²-RoPE para una longitud flexible: un mecanismo de codificación posicional dedicado, R²-RoPE, permite generalizar a un número arbitrario de referencias multimodales en lugar de a un número fijo, lo que facilita su uso práctico.

Entrenamiento a gran escala con curriculum learning: la síntesis de datos produjo más de 3 millones de ejemplos de edición de video para distintas combinaciones de referencias y 7 millones de ejemplos de edición de texto, con un total de aproximadamente 10 millones de ejemplos en el conjunto de entrenamiento. Los autores aplicaron curriculum learning, aumentando de forma progresiva la dificultad de las tareas y la resolución del video a medida que avanza el entrenamiento.

OmniXRef-Bench y resultados

Para evaluar de forma sistemática el video como modalidad de control, los autores presentaron OmniXRef-Bench, un benchmark de 125 casos de edición repartidos en cinco categorías clave:

• Camera — control del movimiento y el ángulo de la cámara • Motion — control de la fisicidad y el movimiento de los personajes • Content — modificación del contenido del cuadro (sustitución o incorporación de objetos) • Style — transferencia de estilo visual entre videos • Visual Effects (VFX) — aplicación e integración de efectos especiales

El benchmark mide tres métricas clave: la fidelidad de la edición (hasta qué punto el modelo siguió las instrucciones), la preservación del video original (cuánta información del video de partida permanece intacta) y la calidad visual con verificación de consistencia temporal (ausencia de parpadeos y artefactos entre cuadros).

Resultados: OmniXRef supera tanto a los modelos base específicos para cada tarea como a las soluciones comerciales. El modelo obtiene mejores resultados que Seedance 2.5 y MiniMax-H3, tanto en el cumplimiento de las referencias visuales como en la preservación del video original, lo que confirma la eficacia de un enfoque unificado para la edición multimodal.

Proyecto y detalles: https://oliver-cong02.github.io/OmniXRef.github.io/