MOSS-Image-SFT : des adaptateurs ControlNet sous Apache 2.0 pour la pose, la profondeur et les contours

C'est la frustration bien connue de tous ceux qui génèrent des images avec des réseaux de neurones : le prompt décrit le « quoi », mais contrôle à peine le « où ». Vous demandez une personne en plein saut, et le modèle la renvoie debout. Vous réclamez un angle précis, et vous en obtenez un au hasard. C'est pour cela qu'a été conçu ControlNet : vous fournissez non seulement du texte, mais aussi un indice structurel, et le modèle construit l'image autour.

Pour MOSS-Image-SFT, un tel jeu d'adaptateurs existe désormais. Il est publié sous licence Apache 2.0, ce qui signifie qu'il peut être utilisé dans des projets commerciaux sans autorisation distincte.

Ce qui a été publié

La gamme comprend sept adaptateurs : OpenPose/DWPose (squelette et points clés du corps), Depth (carte de profondeur), Canny (contours), Lineart (dessin au trait), Normal Map (normales de surface), Scribble (croquis grossiers) et Segmentation (découpage en zones).

Le principe est le même pour tous. Chaque module est entraîné comme un adaptateur d'édition : l'image d'entrée détermine la structure du cadre, et le texte définit tout le reste : l'apparence du personnage, les matières, l'environnement, le style.

Un exemple simple : vous prenez la photo d'une personne dans la pose voulue, vous la passez dans DWPose et vous obtenez un squelette. Vous écrivez ensuite le prompt : « un cosmonaute dans une combinaison rouillée sur fond de désert ». La pose vient de la source, et le modèle dessine tout le reste. Le même procédé avec Depth conserve la perspective d'une pièce tout en changeant complètement l'intérieur, et avec Canny, il préserve les silhouettes des objets.

Détails techniques

Les adaptateurs sont des LoRA : rang 64 sur les couches linéaires et rang 16 sur les blocs convolutifs. L'entraînement a été réalisé avec le cache KV activé. Pour les praticiens, un autre point compte davantage : la compatibilité avec les poids quantifiés est annoncée. L'UNet fonctionne en INT8, et l'encodeur de texte Qwen3.5-9B en W4A8 GPTQ. Avec cette configuration, le tout tourne sur des cartes graphiques grand public de 16 à 24 Go de VRAM.

Des workflows prêts à l'emploi sont fournis pour ComfyUI. Ils utilisent le nœud Text Encode MOSS-Image Edit en mode ai-toolkit. Inutile de monter la chaîne de zéro : on charge le workflow, on renseigne les poids, on fournit la référence.

Les poids pour OpenPose, Depth et Canny sont déjà publiés sur Hugging Face. À en juger par les liens, ils ont été mis en ligne par un auteur tiers (compte thedeoxen), et non par l'équipe OpenMOSS, responsable du modèle de base.

Limites et que faire

Le post ne contient ni benchmarks ni comparaisons avec les ControlNet d'autres modèles. Il est donc trop tôt pour juger de la qualité et de la stabilité du contrôle structurel : il faudra vérifier soi-même la précision avec laquelle la pose est respectée dans les scènes complexes, et si les contours ne « dérivent » pas lors d'un changement de style. De plus, les liens vers les poids n'existent que pour trois adaptateurs sur sept. Où se trouvent Lineart, Normal, Scribble et Segmentation, le post ne le dit pas.

La conclusion pratique est brève :

• Si vous utilisez déjà MOSS-Image-SFT dans ComfyUI, prenez Pose, Depth et Canny et comparez-les avec votre pipeline actuel sur vos propres références.
• Si vous choisissez un modèle ouvert pour un pipeline produit (génération de personnages, de storyboards, d'intérieurs), un contrôle structurel sous Apache 2.0 est un atout de poids. Il élimine le besoin de recourir à des API fermées pour obtenir une composition prévisible.
• Si vous avez une carte de 16 Go, commencez par la configuration quantifiée et vérifiez l'effet de l'INT8 et du W4A8 sur les détails.

En résumé : ce n'est pas une percée architecturale, mais la pièce d'infrastructure qui manquait. Or ce sont justement ces pièces qui transforment un modèle ouvert de simple démo en outil de travail.