Viggle открыла две LoRA для MiniMax-H3: замена людей в видео работает от 12 ГБ видеопамяти

Viggle опубликовала Viggle Remake — пару открытых LoRA, то есть компактных адаптеров для видеомодели MiniMax-H3. Они переделывают готовое видео и сохраняют то, что обычно ломается при генеративной правке: движение, положение камеры, тайминг и звук остаются из исходного ролика. Меняется только то, что вы явно нарисовали на ключевых кадрах. Запустить адаптеры можно локально: в ComfyUI хватает видеокарты с 12 ГБ памяти (VRAM) при разрешении 832×480 и квантованных весах Q4_K_M или Q8_0. Веса лежат на HuggingFace, а попробовать модель без собственного железа можно в приложении Viggle.

Два режима и как с ними работать

Набор состоит из двух адаптеров. Swap отвечает за замену людей и персонажей — одного или сразу нескольких. Edit берёт на себя всё остальное: предметы, фон, погоду, освещение и стиль.

Обе LoRA обучены с rank 256 на трансформере H3, каждая весит 2,67 ГБ. Для тех, у кого мало места или памяти, есть low-rank-версии на 1,34 и 0,67 ГБ. По словам авторов, качество у них почти такое же.

На вход подаются исходное видео, от одного до четырёх «нарисованных» кадров и текстовый промпт. Рабочий процесс простой: берёте кадр из исходника и дорабатываете его в любом редакторе — вставляете нового героя, убираете лишний объект, дорисовываете грозу. Модель переносит из этих кадров внешность и стиль, а движение и камеру берёт из оригинального ролика.

Для длинных проектов Viggle выпустила MCP-сервер. С ним агент на базе Claude Code или Codex сам нарезает фильм на окна, рисует ключевые кадры, рендерит фрагменты и склеивает их со звуком.

Что нужно по железу

В ComfyUI достаточно нод-пака Viggle: его кладут в custom_nodes, а LoRA — в models/loras. Готовые воркфлоу для swap и edit лежат в репозитории. Рекомендации по видеопамяти такие:

• 12 ГБ — Q4_K_M или Q8_0 с флагом --reserve-vram 8, разрешение 832×480;
• 16 ГБ — int8 без дополнительных флагов, 832×480;
• 24 ГБ — int8 или Q4 на 832×480; для 1280×736 нужен Q4 или Q8 с --reserve-vram 20;
• 48 ГБ — Q8_0 на 1280×736;
• 80 ГБ — bf16 вместе с LoRA.

Оперативной памяти понадобится 47–55 ГБ на 832×480 и 55–80 ГБ на 1280×736. Для bf16 на 1280×736 нужно уже 127 ГБ. Важная оговорка: конфигурации на 12–24 ГБ проверяли эмуляцией на B200, а не на настоящих потребительских картах, поэтому на реальном железе флаги могут отличаться.

Длина клипа и скорость

Одно окно рассчитано на 90–345 кадров. Параметр --frames подбирается по формуле 17n+5, а разработчики советуют не выходить за 294 кадра — это около 12 секунд при 24 кадрах в секунду. Более длинные ролики приходится резать на окна, и эту рутину берёт на себя MCP-сервер.

По замерам на B200 ролик 832×480 из 226 кадров рендерится примерно за 95 секунд в ComfyUI и за 58 секунд через скрипт sample.py. Первый запуск в ComfyUI занимает 2,5–3 минуты. На разрешении 1280×736 рендер растягивается до 510–585 секунд.

Что это даёт на практике

Главное в релизе — разделение ролей. Движение, камера и звук приходят из реальной съёмки, а нейросеть отвечает только за визуальную подмену. Для монтажёров и тех, кто делает рекламу и клипы, это удобнее, чем генерация всего ролика с нуля: ритм и постановка кадра не расползаются.

Цифры по времени получены на B200, поэтому на домашних картах рендер будет заметно медленнее. При этом порог входа начинается с 12 ГБ видеопамяти и квантованных вариантов модели, так что инструмент доступен не только студиям с серверными GPU. Подробности по промптингу и настройке ComfyUI авторы вынесли в отдельные гайды в репозитории.