OmniXRef reúne texto, fotos y vídeo en un único editor de clips

El equipo de OmniXRef ha publicado un modelo unificado de edición de vídeo que acepta en una sola solicitud tres tipos de señales de control: texto, imágenes y otros vídeos. El número de referencias no es fijo. La calidad se evalúa en un nuevo benchmark, OmniXRef-Bench, con cinco categorías de transferencia de atributos: cámara, movimiento, contenido, estilo y efectos visuales. Los autores afirman que el modelo supera tanto a las soluciones base especializadas como a los sistemas comerciales. El resumen no incluye métricas concretas, así que las cifras habrá que buscarlas en el propio artículo.

La propuesta aborda un problema habitual de los editores de vídeo basados en difusión. Una orden de texto como «quita a la gente» funciona bien. Una imagen de referencia ayuda con el aspecto de un objeto. Pero la frase «grábalo como en aquel clip» no se puede transmitir con palabras: la trayectoria de la cámara, el ritmo del movimiento o el carácter de un efecto resulta más fácil de mostrar con otro vídeo. Y este canal de control suele estar menos desarrollado que los demás en las herramientas actuales.

Cómo está construido el modelo

La base es la interfaz reference bank. Se trata de un contenedor único donde se almacenan todas las referencias de la solicitud, sea cual sea su modalidad y su número. Para que el modelo no falle cuando hay más referencias que en los ejemplos de entrenamiento, los autores proponen la codificación posicional R^2-RoPE. Según ellos, favorece la generalización a un mayor número de referencias.

El propio OmniXRef-Model es un transformador de difusión de un solo flujo. El vídeo original y el contexto multimodal preparado por un MLLM entran en él como una única secuencia intercalada. No hay ramas separadas para cada tipo de condición. Esto facilita añadir nuevas combinaciones de entradas, aunque el coste computacional depende de la longitud de la secuencia, un dato que los autores no revelan en el resumen.

Datos y benchmark

El principal cuello de botella está en los datos. Prácticamente no existen tríos naturales de «vídeo original, referencia de vídeo, resultado». Por eso el equipo creó OmniXRef-Data mediante pipelines sintéticos, distintos para cada tarea de edición y para sus combinaciones con referencias. El entrenamiento siguió un esquema de curriculum learning: primero tareas sencillas y baja resolución, y después aumentan la dificultad y la resolución.

OmniXRef-Bench cubre un vacío en la evaluación. Hasta ahora, el vídeo como canal de control apenas se medía de forma sistemática. Ahora hay cinco ejes de comparación:

• Camera: transferencia del movimiento de cámara;
• Motion: transferencia del movimiento de los objetos;
• Content: sustitución o adición de contenido del fotograma;
• Style: transferencia del estilo visual;
• VFX: transferencia de efectos visuales.

Ficha técnica resumida según el resumen del artículo:

• entradas: texto, imágenes y vídeo en cantidad variable;
• interfaz: reference bank;
• codificación posicional: R^2-RoPE;
• arquitectura: diffusion transformer de un solo flujo más contexto de un MLLM;
• datos: OmniXRef-Data, sintético;
• entrenamiento: curriculum por dificultad y resolución;
• evaluación: OmniXRef-Bench, 5 categorías;
• resultado declarado: mejor que los modelos task-specific y comerciales, sin cifras en el resumen.

Qué se desconoce por ahora

La descripción no indica el número de parámetros, la duración máxima ni la resolución de los clips, la velocidad de generación ni la licencia. Tampoco se nombran los modelos comerciales con los que se hizo la comparación. Existe además un riesgo metodológico: el benchmark lo han creado los mismos autores y los datos de entrenamiento son sintéticos. Esta combinación suele rendir mejor precisamente en el etiquetado propio. Una prueba independiente con vídeos ajenos mostrará el nivel real mejor que cualquier tabla.

Cómo aplicarlo

Un equipo que haga publicidad, videoclips o contenido para redes sociales haría bien en esperar a que se publiquen el código y los pesos, si los autores los liberan, y probar el modelo con su propio material. Conviene comprobar ante todo la transferencia de cámara y de movimiento: ahí la referencia de vídeo aporta ventaja sobre el texto. Para comparar con servicios comerciales resulta útil tomar los cinco ejes de OmniXRef-Bench y evaluar cada uno por separado, en lugar de basarse en la impresión general.

A los desarrolladores de editores les conviene fijarse en la idea del reference bank: una interfaz única para distintas referencias es más fácil de integrar en un producto que un conjunto de modos independientes para cada tipo de condición.