Viggle ouvre deux LoRA pour MiniMax-H3 : le remplacement de personnes dans une vidéo tourne dès 12 Go de VRAM

Viggle a publié Viggle Remake, une paire de LoRA ouvertes, c'est-à-dire des adaptateurs compacts pour le modèle vidéo MiniMax-H3. Elles retravaillent une vidéo existante et préservent ce qui casse d'habitude lors d'une retouche générative : le mouvement, la position de la caméra, le timing et le son restent ceux de la vidéo d'origine. Seul change ce que vous avez explicitement dessiné sur les images clés. Les adaptateurs peuvent tourner en local : dans ComfyUI, une carte graphique de 12 Go de mémoire (VRAM) suffit en résolution 832×480 avec des poids quantifiés Q4_K_M ou Q8_0. Les poids sont disponibles sur HuggingFace, et l'application Viggle permet d'essayer le modèle sans disposer de son propre matériel.

Deux modes et comment les utiliser

Le jeu se compose de deux adaptateurs. Swap gère le remplacement de personnes et de personnages, un seul ou plusieurs à la fois. Edit prend en charge tout le reste : objets, arrière-plan, météo, éclairage et style.

Les deux LoRA sont entraînées avec un rank 256 sur le transformeur H3 et pèsent chacune 2,67 Go. Pour ceux qui manquent d'espace ou de mémoire, il existe des versions low-rank de 1,34 et 0,67 Go. Selon les auteurs, leur qualité est presque identique.

L'entrée se compose de la vidéo source, d'une à quatre images « dessinées » et d'un prompt textuel. Le workflow est simple : vous prenez une image de la vidéo d'origine et vous la retouchez dans n'importe quel éditeur, en insérant un nouveau héros, en supprimant un objet superflu ou en ajoutant un orage. Le modèle reprend de ces images l'apparence et le style, et conserve le mouvement et la caméra de la vidéo originale.

Pour les projets longs, Viggle a sorti un serveur MCP. Grâce à lui, un agent basé sur Claude Code ou Codex découpe lui-même le film en fenêtres, dessine les images clés, rend les fragments et les assemble avec le son.

Quel matériel faut-il ?

Dans ComfyUI, le pack de nodes Viggle suffit : on le place dans custom_nodes, et les LoRA dans models/loras. Des workflows prêts à l'emploi pour swap et edit se trouvent dans le dépôt. Voici les recommandations en matière de VRAM :

• 12 Go — Q4_K_M ou Q8_0 avec le flag --reserve-vram 8, résolution 832×480 ;
• 16 Go — int8 sans flag supplémentaire, 832×480 ;
• 24 Go — int8 ou Q4 en 832×480 ; pour 1280×736, il faut Q4 ou Q8 avec --reserve-vram 20 ;
• 48 Go — Q8_0 en 1280×736 ;
• 80 Go — bf16 avec la LoRA.

Il faut compter 47–55 Go de RAM en 832×480 et 55–80 Go en 1280×736. Pour le bf16 en 1280×736, il en faut déjà 127 Go. Réserve importante : les configurations de 12 à 24 Go ont été vérifiées par émulation sur B200, et non sur de vraies cartes grand public ; les flags peuvent donc différer sur du matériel réel.

Durée des clips et vitesse

Une fenêtre est prévue pour 90–345 images. Le paramètre --frames se calcule selon la formule 17n+5, et les développeurs conseillent de ne pas dépasser 294 images, soit environ 12 secondes à 24 images par seconde. Les vidéos plus longues doivent être découpées en fenêtres, une corvée dont se charge le serveur MCP.

Selon les mesures sur B200, une vidéo 832×480 de 226 images se rend en 95 secondes environ dans ComfyUI et en 58 secondes via le script sample.py. Le premier lancement dans ComfyUI prend 2,5–3 minutes. En 1280×736, le rendu s'allonge à 510–585 secondes.

Ce que cela change en pratique

L'essentiel de cette sortie tient à la séparation des rôles. Le mouvement, la caméra et le son viennent d'un vrai tournage, et le réseau de neurones ne s'occupe que de la substitution visuelle. Pour les monteurs et ceux qui réalisent des publicités et des clips, c'est plus pratique que de générer toute la vidéo de zéro : le rythme et la mise en scène du plan ne dérivent pas.

Les temps de rendu ont été mesurés sur B200 ; sur des cartes grand public, le rendu sera donc nettement plus lent. Le seuil d'entrée démarre toutefois à 12 Go de VRAM avec des variantes quantifiées du modèle, si bien que l'outil n'est pas réservé aux studios équipés de GPU serveur. Les auteurs ont placé les détails sur le prompting et la configuration de ComfyUI dans des guides distincts du dépôt.