FusionCow publie Sulphur-3 : un fine-tuning de MiniMax H3 pour générer des vidéos avec son dès 11,4 Go

Depuis des années, les modèles vidéo ouverts souffrent du même processus peu pratique : un réseau neuronal génère l'image, un autre ajoute le son, puis il faut tout assembler manuellement, avec des problèmes de synchronisation à la clé. Toute publication fondée sur un modèle capable de produire vidéo et son en une seule passe mérite donc l'attention. C'est précisément ce que propose FusionCow : la troisième version de son fine-tuning Sulphur repose sur MiniMax H3.

Ce qui a été publié exactement

Sulphur-2 était connu comme une solution de génération vidéo dépourvue de censure intégrée. Pour la troisième version, son auteur a adopté MiniMax H3 comme modèle de base, capable de créer une séquence directement accompagnée de son. Les principaux poids sont disponibles dans trois formats : BF16 de 40,2 Go, INT8 de 20,9 Go et W4A8 de 11,4 Go. Il s'agit de l'échelle classique de quantification : plus le fichier est petit, moins il exige de mémoire, mais plus le risque de perte de qualité augmente.

Une variante Ref2VA prenant en charge les images de référence est également proposée. En clair, vous fournissez une photo ou une illustration du personnage, et le modèle tente d'en préserver l'apparence pendant toute la vidéo. C'est l'un des problèmes les plus pénibles de la génération vidéo : sans référence, le visage et les vêtements ont tendance à « dériver » d'une image à l'autre. Ref2VA est publié en BF16 et INT8, cette dernière version pesant 22,1 Go.

L'auteur a également publié une LoRA de 2,4 Go extraite de Sulphur-3. Elle permet de tester facilement les modifications sans télécharger le modèle complet, en les appliquant à une base H3 déjà disponible.

Exécution et matériel

Le dépôt contient l'archive S3_ComfyUI.zip, tandis que la variante avec références s'exécute au moyen d'un nœud Ref2VA dédié. Précision importante : l'encodeur ainsi que le VAE vidéo/audio de H3 doivent être téléchargés séparément. L'espace réellement occupé sur le disque sera donc supérieur au total des fichiers indiqués ci-dessus. Si vous prévoyez de tout déployer sur votre machine ou sur un serveur loué, prévoyez une marge.

Un seul test utilisateur chiffré est disponible. La variante INT8 de Ref2VA, exécutée sur une carte dotée de 32 Go de VRAM, a généré 124 images en 672×384 en environ 50 secondes, avec 20 étapes et sans correcteur. L'auteur du test n'a pas précisé la carte graphique utilisée : ce résultat constitue donc un ordre de grandeur pour une configuration particulière, et non un benchmark. La résolution reste modeste : elle suffit pour les aperçus et les brouillons, mais une mise à l'échelle sera nécessaire pour une production finale.

Limites et conclusion pratique

Première limite : l'accès aux fichiers sur Hugging Face est actuellement accordé sur demande, après validation manuelle, et l'auteur n'a pas annoncé de date d'ouverture à tous. Deuxième point : il s'agit d'un fine-tuning tiers sans censure. Si vous développez un produit destiné au public, vous devrez assurer vous-même la modération des entrées et des sorties, appliquer les restrictions d'âge et gérer les risques juridiques liés au contenu généré, notamment lorsque des visages de personnes réelles sont utilisés comme références.

Quelles conséquences pour les équipes opérationnelles ? Premièrement, considérez cette publication comme un signal : l'association « vidéo et son dans un même modèle », accompagnée de poids ouverts, est désormais arrivée jusqu'aux fine-tunings communautaires. Des variantes plus neutres devraient donc bientôt apparaître. Deuxièmement, si vous testez H3 dans ComfyUI, envisagez W4A8 et INT8 pour faire tenir le modèle dans 12–24 Go de mémoire, tout en vérifiant la qualité du son et des visages dans vos propres scénarios. Troisièmement, pour les projets nécessitant un personnage récurrent, étudiez l'approche Ref2VA : le recours à une référence peut être utile aussi bien dans les pipelines publicitaires que vidéoludiques.

En résumé, cette publication est surtout intéressante sur le plan technique, comme exemple récent de base ouverte intégrant le son et les références. Mais en attendant un accès ouvert et des mesures indépendantes, mieux vaut la considérer comme une expérimentation que comme un outil prêt pour la production.