Viggle libera dos LoRA para MiniMax-H3: la sustitución de personas en vídeo funciona desde 12 GB de VRAM

Viggle ha publicado Viggle Remake, un par de LoRA abiertas, es decir, adaptadores compactos para el modelo de vídeo MiniMax-H3. Reelaboran un vídeo ya terminado y conservan lo que suele romperse en la edición generativa: el movimiento, la posición de la cámara, el timing y el sonido se mantienen del clip original. Solo cambia lo que el usuario dibuja de forma explícita en los fotogramas clave. Los adaptadores se pueden ejecutar en local: en ComfyUI basta con una tarjeta gráfica de 12 GB de memoria (VRAM) a una resolución de 832×480 y con pesos cuantizados Q4_K_M o Q8_0. Los pesos están en HuggingFace, y el modelo se puede probar sin hardware propio en la aplicación de Viggle.

Dos modos y cómo trabajar con ellos

El conjunto consta de dos adaptadores. Swap se encarga de sustituir personas y personajes, ya sea uno o varios a la vez. Edit se ocupa de todo lo demás: objetos, fondo, clima, iluminación y estilo.

Ambas LoRA se entrenaron con rank 256 sobre el transformer H3 y cada una pesa 2,67 GB. Para quienes tienen poco espacio o poca memoria, existen versiones low-rank de 1,34 y 0,67 GB. Según los autores, su calidad es casi igual.

Como entrada, el modelo recibe el vídeo original, de uno a cuatro fotogramas «dibujados» y un prompt de texto. El flujo de trabajo es sencillo: se toma un fotograma del original y se retoca en cualquier editor, por ejemplo para insertar un nuevo protagonista, eliminar un objeto sobrante o añadir una tormenta. El modelo traslada la apariencia y el estilo de esos fotogramas, mientras que el movimiento y la cámara los toma del clip original.

Para proyectos largos, Viggle ha lanzado un servidor MCP. Con él, un agente basado en Claude Code o Codex divide la película en ventanas, dibuja los fotogramas clave, renderiza los fragmentos y los une con el sonido.

Qué hardware se necesita

En ComfyUI basta con el paquete de nodos de Viggle: se coloca en custom_nodes, y las LoRA, en models/loras. Los workflows listos para swap y edit están en el repositorio. Las recomendaciones de memoria de vídeo son las siguientes:

• 12 GB: Q4_K_M o Q8_0 con la opción --reserve-vram 8, resolución 832×480;
• 16 GB: int8 sin opciones adicionales, 832×480;
• 24 GB: int8 o Q4 a 832×480; para 1280×736 se necesita Q4 o Q8 con --reserve-vram 20;
• 48 GB: Q8_0 a 1280×736;
• 80 GB: bf16 junto con la LoRA.

También hará falta memoria RAM: de 47 a 55 GB a 832×480 y de 55 a 80 GB a 1280×736. Para bf16 a 1280×736 se necesitan ya 127 GB. Una salvedad importante: las configuraciones de 12 a 24 GB se probaron mediante emulación en una B200, no en tarjetas de consumo reales, por lo que en hardware real las opciones pueden ser distintas.

Duración del clip y velocidad

Cada ventana está pensada para entre 90 y 345 fotogramas. El parámetro --frames se calcula con la fórmula 17n+5, y los desarrolladores recomiendan no pasar de 294 fotogramas, unos 12 segundos a 24 fotogramas por segundo. Los vídeos más largos hay que dividirlos en ventanas, y de esa tarea rutinaria se encarga el servidor MCP.

Según las mediciones en una B200, un clip de 832×480 y 226 fotogramas se renderiza en aproximadamente 95 segundos en ComfyUI y en 58 segundos con el script sample.py. El primer arranque en ComfyUI tarda entre 2,5 y 3 minutos. A una resolución de 1280×736, el renderizado se alarga hasta 510–585 segundos.

Qué aporta en la práctica

Lo principal de este lanzamiento es el reparto de funciones. El movimiento, la cámara y el sonido proceden de una grabación real, y la red neuronal se ocupa solo de la sustitución visual. Para montadores y para quienes hacen publicidad y videoclips, esto resulta más cómodo que generar todo el clip desde cero: el ritmo y la puesta en escena no se desbaratan.

Las cifras de tiempo se obtuvieron en una B200, así que en tarjetas domésticas el renderizado será notablemente más lento. Aun así, el umbral de entrada empieza en 12 GB de memoria de vídeo y variantes cuantizadas del modelo, de modo que la herramienta no es accesible únicamente para estudios con GPU de servidor. Los autores han reunido los detalles sobre prompting y configuración de ComfyUI en guías aparte dentro del repositorio.