La communauté lève 10 000 $ et affine le modèle vidéo Sulphur 3 en trois mois

La communauté r/StableDiffusion a mené une expérience rare : des utilisateurs ont eux-mêmes réuni 10 000 $, loué de la puissance de calcul et affiné un grand modèle vidéo pour une tâche que les développeurs commerciaux restreignent généralement. Au bout de trois mois, le projet Sulphur 3 a atteint sa publication sur Hugging Face.

Pour les ingénieurs, ce qui est intéressant ici n'est pas la thématique des vidéos générées, mais la mécanique de l'ensemble. Une petite équipe indépendante a pris MiniMax H3, préparé un jeu de données spécialisé et tenté de modifier le comportement d'un modèle déjà optimisé. Le résultat illustre bien la friction entre la promesse « on prend des poids ouverts et on les affine » et la réalité du travail.

Pourquoi le modèle déjà finalisé s'est révélé difficile à réentraîner

MiniMax H3 est distribué dans une version distillée en CFG. Pour simplifier, le modèle a déjà été préparé pour une génération rapide et appris à fonctionner sans une partie des calculs normalement nécessaires pour contrôler l'adéquation à la requête. C'est pratique à l'exécution, mais cela pose problème lors d'un réentraînement complet : la modification des poids peut rompre l'équilibre fragile atteint par les développeurs du modèle d'origine.

Imaginez une voiture de série dotée d'une électronique soigneusement calibrée. Changer les roues est simple : c'est à peu près le principe des petits adaptateurs LoRA. Mais si l'on refait le moteur et la transmission, les réglages précédents ne garantissent plus le même comportement. La voiture peut mieux rouler en tout-terrain, mais perdre en stabilité sur route. Il se passe quelque chose de similaire avec un modèle vidéo : améliorer l'anatomie, le mouvement ou l'interaction entre personnages peut dégrader d'autres scénarios de génération.

Les participants avaient prévenu à l'avance qu'un réentraînement complet pouvait casser la compatibilité avec les LoRA existantes, modifier les paramètres de lancement optimaux et affaiblir certaines capacités de MiniMax H3. Pendant le travail, des plaintes directes sont aussi apparues : H3 s'entraînait moins bien que prévu. Le retard de près de trois mois ressemble donc moins à un simple raté d'organisation qu'à la conséquence d'un risque technique sous-estimé par l'équipe au départ.

Ce que la communauté a publié

Plusieurs variantes de Sulphur 3 sont publiées sur Hugging Face. Le checkpoint Base complet pèse 40,2 Go, la version INT8 20,9 Go et la W4A8 11,4 Go. Un module de correction distinct pèse 7,99 Go. Des variantes Ref2VA pour le travail avec des références et des composants pour ComfyUI sont également annoncés.

Cet ensemble a un intérêt pratique. Un développeur peut commencer par W4A8 sur du matériel relativement accessible, vérifier la vitesse et la qualité, puis comparer le résultat avec INT8 ou la version complète. Mais la taille d'un fichier ne dit pas combien de mémoire exigera l'ensemble du pipeline : à l'exécution, il faut tenir compte des encodeurs de texte, du décodeur, de la durée de la vidéo, de la résolution et des tenseurs intermédiaires.

Le projet a été entraîné sur un jeu de données vidéo prévu pour être presque deux fois plus grand que celui de Sulphur 2, qui comptait environ 125 000 vidéos. Selon les participants, 60 % du contenu était constitué d'enregistrements réalistes, et 20 % chacun d'animation 3D et d'animation dessinée. Ces chiffres doivent pour l'instant être considérés comme des déclarations de l'équipe : le message d'origine ne contient aucun audit ouvert de la composition, des licences ni de la qualité de l'annotation.

Ce qu'il faut en retenir

Sulphur 3 est utile comme cas de financement collectif du calcul. La communauté a rapidement réuni une somme importante, surmonté un retard et obtenu plusieurs checkpoints au lieu d'un service fermé. C'est un modèle viable pour les niches que les grands laboratoires ne veulent pas servir.

Cependant, il est trop tôt pour déployer le modèle en production simplement à cause d'une publication bruyante. Le dépôt est en accès restreint (gated) : il faut s'authentifier et accepter les conditions, et l'octroi de l'accès peut prendre du temps. Les comparaisons de qualité indépendantes restent insuffisantes. L'origine de toutes les données d'entraînement, les restrictions juridiques et le degré de dégradation des capacités de base de H3 ne sont pas clairs non plus.

La conclusion pratique est simple : considérez Sulphur 3 comme un checkpoint expérimental. Fixez d'abord un ensemble de requêtes de test, comparez-le à H3 d'origine sur la qualité du mouvement, la stabilité des personnages et la vitesse, puis vérifiez séparément la compatibilité avec les LoRA et les nœuds ComfyUI dont vous avez besoin. L'histoire du projet le montre bien : on peut réunir rapidement l'argent pour les cartes graphiques, mais un réentraînement prévisible d'un grand modèle distillé reste un défi d'ingénierie complexe.