Viggle открыла веса Remake: замена актёра в готовом видео через LoRA и ComfyUI

Знакомая боль любого, кто делает видео: ролик снят, смонтирован, утверждён, и вдруг выясняется, что актёр не подходит, логотип на столе не тот, а свет надо было сделать вечерним. Переснимать дорого. Генерировать клип с нуля нельзя, потому что пропадёт тот самый тайминг и движение камеры, ради которых всё и снималось. Viggle предлагает третий путь и выложила веса Remake, модели для редактирования готового видео.

Что именно умеет Remake

У инструмента два режима. Первый называется Recast: он заменяет актёра или персонажа по референсной картинке. Второй меняет предметы, окружение или освещение. В обоих случаях исходный клип служит основой, а значит, движение, тайминг и траектория камеры остаются прежними. Модель не придумывает сцену заново, а перерисовывает нужные элементы поверх существующей структуры.

Представьте рекламный ролик, где человек идёт по улице с кофе. С Recast вы подставляете другого персонажа, например маскота бренда, а походка и движение камеры сохраняются. С режимом сцены можно превратить дневную улицу в вечернюю или заменить стакан на бутылку. Монтажные склейки при этом не надо пересобирать.

Что внутри и сколько это весит

Релиз построен на MiniMax H3. Viggle распространяет два отдельных адаптера LoRA, по одному на каждый режим, а также скрипт запуска, графы ComfyUI и квантизованные варианты. Для тех, кто привык собирать пайплайны из нод, это удобная новость: готовые графы экономят дни на подбор настроек.

Цена открытости в размере. Базовый трансформер в полной точности занимает около 144 ГБ. Это не та модель, которую запускают на игровом ноутбуке без подготовки. Поэтому документация отдельно описывает варианты int8 и GGUF и выгрузку весов в оперативную память. Скорость и потребление памяти зависят от конфигурации и длины ролика, так что точных цифр заранее никто не обещает. Планируйте тесты на своём железе, а не верьте чужим бенчмаркам.

MCP-сервер для длинных роликов

Самая практичная деталь для разработчиков агентов — MCP-сервер. Агент может разбить видео на планы, обработать каждый отдельно и собрать результат обратно. Раньше замену персонажа в серии кадров приходилось настраивать вручную для каждого плана. Теперь это можно описать как задачу для агента: «замени героя на референс во всём ролике».

Это типичный паттерн: тяжёлая генеративная модель плюс тонкий слой оркестрации, который прячет ручную рутину. Если вы строите видеосервис, MCP-обёртка показывает, как подключить такую модель к агентному пайплайну без самописной склейки.

Ограничения и что делать

Стоит трезво смотреть на несколько вещей. Во-первых, в материале нет метрик качества: насколько стабильно держится лицо или одежда на длинных планах, неизвестно. Во-вторых, 144 ГБ в полной точности означают, что для продакшена понадобится серьёзное железо или аренда GPU. В-третьих, квантизация обычно что-то отнимает в качестве, и насколько именно, надо проверять на ваших роликах. Наконец, замена людей в видео поднимает вопросы прав на образ и маркировки синтетического контента, и юристов лучше подключить заранее.

Практический вывод такой. Если вы делаете инструменты для монтажа, рекламы или контента, скачайте LoRA и графы ComfyUI и прогоните пару своих клипов на int8 или GGUF. Продактам стоит оценить, можно ли заменить пересъёмку правкой готового материала. Основателям — что открытые веса снижают порог входа для конкурентов, которые раньше зависели от закрытых API. А тем, кто строит агентов, полезно посмотреть на MCP-сервер как на готовый пример работы с видео по планам.