OmniXRef объединяет текст, фото и видео в одном редакторе роликов

Команда OmniXRef опубликовала единую модель для редактирования видео, которая принимает в одном запросе три типа управляющих сигналов: текст, изображения и другие видеоролики. Количество референсов не фиксировано. Качество проверяют на новом бенчмарке OmniXRef-Bench по пяти категориям переноса атрибутов: камера, движение, контент, стиль и визуальные эффекты. Авторы пишут, что модель обходит как специализированные базовые решения, так и коммерческие системы. Конкретных метрик в аннотации нет, поэтому цифры придётся искать в самой статье.

Идея упирается в привычную проблему видеоредакторов на диффузии. Текстовая команда вроде «убери людей» работает хорошо. Картинка-референс помогает с внешностью объекта. Но фразу «сними так же, как в том ролике» словами не передать: траекторию камеры, ритм движения или характер эффекта проще показать другим видео. Именно этот канал управления в существующих инструментах обычно развит слабее остальных.

Как устроена модель

В основе лежит интерфейс reference bank. Это единый контейнер, куда складываются все референсы запроса независимо от модальности и количества. Чтобы модель не ломалась, когда референсов больше, чем в обучающих примерах, авторы предложили позиционное кодирование R^2-RoPE. По их утверждению, оно поддерживает обобщение на большее число референсов.

Сама OmniXRef-Model представляет собой однопоточный диффузионный трансформер. Исходное видео и мультимодальный контекст, подготовленный MLLM, подаются в него одной чередующейся последовательностью. Отдельных веток под каждый тип условия нет. Это упрощает добавление новых комбинаций входов, хотя цена по вычислениям зависит от длины последовательности, а её авторы в аннотации не раскрывают.

Данные и бенчмарк

Главное узкое место здесь в данных. Естественных троек «исходное видео, видеореференс, результат» почти не существует. Поэтому команда собрала OmniXRef-Data с помощью синтетических пайплайнов, отдельных для разных задач редактирования и их сочетаний с референсами. Обучение шло по схеме curriculum learning: сначала простые задачи и низкое разрешение, затем сложность и разрешение растут.

OmniXRef-Bench закрывает пробел в оценке. Раньше видео как канал управления почти не измеряли системно. Теперь есть пять осей сравнения:

• Camera: перенос движения камеры;
• Motion: перенос движения объектов;
• Content: замена или добавление содержимого кадра;
• Style: перенос визуального стиля;
• VFX: перенос визуальных эффектов.

Краткие ТТХ по данным аннотации:

• входы: текст, изображения, видео в переменном количестве;
• интерфейс: reference bank;
• позиционное кодирование: R^2-RoPE;
• архитектура: однопоточный diffusion transformer плюс контекст от MLLM;
• данные: синтетический OmniXRef-Data;
• обучение: curriculum по сложности и разрешению;
• оценка: OmniXRef-Bench, 5 категорий;
• заявленный результат: лучше task-specific и коммерческих моделей, без чисел в аннотации.

Что пока неизвестно

В описании нет числа параметров, максимальной длины и разрешения клипов, скорости генерации и лицензии. Не названы и коммерческие модели, с которыми шло сравнение. Есть и методологический риск: бенчмарк создан теми же авторами, а обучающие данные синтетические. Такая связка часто выигрывает именно на собственной разметке. Независимый прогон на чужих роликах покажет реальный уровень лучше любой таблицы.

Как это применить

Команде, которая делает рекламу, клипы или контент для соцсетей, имеет смысл дождаться публикации кода и весов, если авторы их выложат, и прогнать модель на собственном материале. Проверять стоит прежде всего перенос камеры и движения: именно там видеореференс даёт преимущество над текстом. Для сравнения с коммерческими сервисами удобно взять пять осей из OmniXRef-Bench и оценить по каждой отдельно, а не по общему впечатлению. Разработчикам редакторов полезно присмотреться к идее reference bank: единый интерфейс для разных референсов проще встроить в продукт, чем набор отдельных режимов под каждый тип условия.