MOSS-Image-SFT ganha adaptadores ControlNet sob Apache 2.0 para pose, profundidade e contornos

É uma frustração conhecida de quem gera imagens com IA: o prompt descreve «o quê», mas oferece pouco controle sobre «onde». Você pede uma pessoa pulando, e o modelo a mostra em pé. Pede um ângulo específico e recebe um aleatório. Foi para resolver isso que o ControlNet surgiu: além do texto, você fornece uma orientação estrutural, e o modelo constrói a imagem a partir dela.

O MOSS-Image-SFT agora tem um conjunto de ferramentas desse tipo. Ele foi lançado sob a licença Apache 2.0, o que permite seu uso em projetos comerciais sem autorizações adicionais.

O que foi lançado

A linha inclui sete adaptadores: OpenPose/DWPose (esqueleto e pontos-chave do corpo), Depth (mapa de profundidade), Canny (contornos), Lineart (desenho de linhas), Normal Map (normais de superfície), Scribble (esboços simples) e Segmentation (rotulagem de regiões).

Todos seguem o mesmo princípio. Cada módulo foi treinado como um adaptador de edição: a imagem de entrada determina a estrutura do enquadramento, enquanto o texto define todo o resto — aparência do personagem, materiais, ambiente e estilo.

Um exemplo simples: você pega uma foto de uma pessoa na pose desejada, passa a imagem pelo DWPose e obtém um esqueleto. Depois, escreve o prompt: «um astronauta com um traje espacial enferrujado e um deserto ao fundo». A pose vem da imagem original, e o modelo gera todo o restante. A mesma técnica com Depth preserva a perspectiva de um cômodo ao mudar completamente seu interior; com Canny, preserva as silhuetas dos objetos.

Detalhes técnicos

Os adaptadores usam LoRA: rank 64 nas camadas lineares e rank 16 nos blocos convolucionais. O treinamento foi realizado com o cache KV ativado. Para quem vai usar a ferramenta, outro ponto importa mais: há compatibilidade declarada com pesos quantizados. O UNet roda em INT8, enquanto o codificador de texto Qwen3.5-9B usa W4A8 GPTQ. Com essa configuração, o conjunto funciona em placas de vídeo de consumo com 16–24 GB de VRAM.

Foram preparados fluxos de trabalho prontos para o ComfyUI. Eles usam o nó Text Encode MOSS-Image Edit no modo ai-toolkit. Não é preciso montar a sequência do zero: basta carregar o fluxo, configurar os pesos e fornecer uma imagem de referência.

Os pesos de OpenPose, Depth e Canny já foram publicados no Hugging Face. Pelos links, quem os disponibilizou foi um colaborador externo (a conta thedeoxen), e não a própria equipe OpenMOSS, responsável pelo modelo base.

Limitações e como lidar com elas

A publicação não traz benchmarks nem comparações com o ControlNet para outros modelos. Por isso, ainda é cedo para avaliar a qualidade e a estabilidade do controle estrutural: será preciso testar por conta própria a precisão das poses em cenas complexas e se os contornos se deformam com a mudança de estilo. Além disso, há links para os pesos de apenas três dos sete adaptadores. A publicação não esclarece onde encontrar Lineart, Normal, Scribble e Segmentation.

As orientações práticas são simples:

• Se você já roda o MOSS-Image-SFT no ComfyUI, experimente Pose, Depth e Canny e compare com seu pipeline atual usando suas próprias imagens de referência.
• Se está escolhendo um modelo aberto para o pipeline de um produto (geração de personagens, storyboards ou interiores), contar com controle estrutural sob Apache 2.0 é uma vantagem significativa. Isso elimina a necessidade de recorrer a APIs fechadas para obter uma composição previsível.
• Se sua placa tem 16 GB, comece pela configuração quantizada e verifique como INT8 e W4A8 afetam os detalhes.

O resultado não é uma revolução na arquitetura, mas uma peça de infraestrutura que faltava. E são justamente peças assim que transformam um modelo aberto de demonstração em ferramenta de trabalho.