Viggle ouvre les poids de Remake : remplacer un acteur dans une vidéo finalisée via LoRA et ComfyUI

C'est la frustration bien connue de quiconque fait de la vidéo : le clip est tourné, monté, validé, et soudain on s'aperçoit que l'acteur ne convient pas, que le logo sur la table n'est pas le bon, ou que la lumière aurait dû être celle du soir. Retourner coûte cher. Générer un clip de zéro est impossible, car on perdrait justement le timing et le mouvement de caméra pour lesquels tout a été filmé. Viggle propose une troisième voie et publie les poids de Remake, un modèle d'édition de vidéo finalisée.

Ce que sait faire Remake

L'outil propose deux modes. Le premier, Recast, remplace un acteur ou un personnage à partir d'une image de référence. Le second modifie les objets, le décor ou l'éclairage. Dans les deux cas, le clip source sert de base : le mouvement, le timing et la trajectoire de caméra restent donc identiques. Le modèle n'invente pas la scène de nouveau, il redessine les éléments voulus par-dessus la structure existante.

Imaginez une publicité où un homme marche dans la rue avec un café. Avec Recast, vous insérez un autre personnage, par exemple la mascotte d'une marque, tandis que la démarche et le mouvement de caméra sont conservés. Avec le mode scène, on peut transformer une rue de jour en rue de soir ou remplacer un gobelet par une bouteille. Il n'est pas nécessaire de reconstruire les coupes du montage.

Ce que contient la version et son poids

La version repose sur MiniMax H3. Viggle distribue deux adaptateurs LoRA distincts, un par mode, ainsi qu'un script de lancement, des graphes ComfyUI et des variantes quantifiées. Pour ceux qui ont l'habitude d'assembler des pipelines à partir de nœuds, c'est une bonne nouvelle : des graphes prêts à l'emploi font gagner des jours de réglages.

Le prix de l'ouverture, c'est la taille. Le transformeur de base en pleine précision occupe environ 144 Go. Ce n'est pas un modèle que l'on lance sans préparation sur un portable de jeu. C'est pourquoi la documentation décrit séparément les variantes int8 et GGUF ainsi que le déchargement des poids en mémoire vive. La vitesse et la consommation de mémoire dépendent de la configuration et de la durée du clip : personne ne promet donc de chiffres précis à l'avance. Prévoyez des tests sur votre propre matériel plutôt que de vous fier aux benchmarks des autres.

Un serveur MCP pour les vidéos longues

Le détail le plus pratique pour les développeurs d'agents est le serveur MCP. Un agent peut découper la vidéo en plans, traiter chacun séparément puis réassembler le résultat. Auparavant, le remplacement d'un personnage sur une série de plans devait être configuré à la main pour chaque plan. Désormais, on peut le formuler comme une tâche pour l'agent : « remplace le héros par la référence dans tout le clip ».

C'est un schéma typique : un lourd modèle génératif associé à une fine couche d'orchestration qui masque la routine manuelle. Si vous construisez un service vidéo, l'enveloppe MCP montre comment brancher un tel modèle à un pipeline d'agents sans collage maison.

Limites et marche à suivre

Quelques points demandent du recul. Premièrement, le document ne fournit aucune métrique de qualité : on ignore à quel point le visage ou les vêtements restent stables sur les plans longs. Deuxièmement, 144 Go en pleine précision signifient qu'il faudra un matériel sérieux ou une location de GPU pour la production. Troisièmement, la quantification retire généralement un peu de qualité, et il faut vérifier l'ampleur de la perte sur vos propres clips. Enfin, remplacer des personnes dans une vidéo soulève des questions de droit à l'image et de signalement des contenus synthétiques ; mieux vaut associer des juristes en amont.

La conclusion pratique est la suivante. Si vous développez des outils de montage, de publicité ou de contenu, téléchargez les LoRA et les graphes ComfyUI et passez quelques-uns de vos clips en int8 ou GGUF. Les product managers devraient évaluer s'il est possible de remplacer un retournage par la retouche du matériel existant. Pour les fondateurs : les poids ouverts abaissent la barrière d'entrée pour des concurrents qui dépendaient jusqu'ici d'API fermées. Et pour ceux qui construisent des agents, le serveur MCP est un exemple prêt à l'emploi de traitement vidéo par plans.