MOSS-Image-SFT recibe adaptadores ControlNet bajo Apache 2.0 para pose, profundidad y contornos

Es una frustración conocida para cualquiera que genere imágenes con IA: el prompt describe el «qué», pero apenas permite controlar el «dónde». Pides una persona saltando y el modelo la muestra de pie. Solicitas un ángulo concreto y obtienes uno aleatorio. Para eso se creó ControlNet: además del texto, proporcionas una guía estructural y el modelo construye la imagen a partir de ella.

MOSS-Image-SFT ya dispone de un conjunto de herramientas de este tipo. Se ha publicado bajo la licencia Apache 2.0, lo que permite utilizarlo en proyectos comerciales sin autorizaciones adicionales.

Qué se ha publicado

La gama incluye siete adaptadores: OpenPose/DWPose (esqueleto y puntos clave del cuerpo), Depth (mapa de profundidad), Canny (contornos), Lineart (dibujo de líneas), Normal Map (normales de superficie), Scribble (bocetos preliminares) y Segmentation (etiquetado de regiones).

Todos siguen el mismo principio. Cada módulo se ha entrenado como un adaptador de edición: la imagen de entrada determina la estructura del encuadre, mientras que el texto define todo lo demás: la apariencia del personaje, los materiales, el entorno y el estilo.

Un ejemplo sencillo: tomas una fotografía de una persona en la pose deseada, la procesas con DWPose y obtienes un esqueleto. Después escribes el prompt: «un astronauta con un traje espacial oxidado y un desierto de fondo». La pose se conserva de la imagen original y el modelo genera todo lo demás. La misma técnica con Depth mantiene la perspectiva de una habitación mientras cambia por completo su interior; con Canny, conserva las siluetas de los objetos.

Detalles técnicos

Los adaptadores están implementados como LoRA: rango 64 en las capas lineales y rango 16 en los bloques convolucionales. Se entrenaron con la caché KV activada. Para quienes vayan a utilizarlos, hay otro dato más relevante: se anuncia compatibilidad con pesos cuantizados. UNet funciona en INT8 y el codificador de texto Qwen3.5-9B, en W4A8 GPTQ. Con esta configuración, el conjunto funciona en tarjetas gráficas de consumo con 16–24 GB de VRAM.

Se han preparado flujos de trabajo listos para ComfyUI. Utilizan el nodo Text Encode MOSS-Image Edit en modo ai-toolkit. No hace falta montar la cadena desde cero: basta con cargar el flujo, incorporar los pesos y proporcionar una imagen de referencia.

Los pesos de OpenPose, Depth y Canny ya están publicados en Hugging Face. A juzgar por los enlaces, los ha subido un colaborador externo (la cuenta thedeoxen), y no el propio equipo de OpenMOSS, responsable del modelo base.

Limitaciones y cómo abordarlas

La publicación no incluye benchmarks ni comparaciones con ControlNet para otros modelos. Por tanto, es pronto para valorar la calidad y la estabilidad del control estructural: habrá que comprobar por cuenta propia con qué precisión se mantiene la pose en escenas complejas y si los contornos se deforman al cambiar de estilo. Además, solo hay enlaces a los pesos de tres de los siete adaptadores. La publicación no aclara dónde encontrar Lineart, Normal, Scribble y Segmentation.

Las recomendaciones prácticas son sencillas:

• Si ya utilizas MOSS-Image-SFT en ComfyUI, prueba Pose, Depth y Canny y compáralos con tu flujo actual utilizando tus propias imágenes de referencia.
• Si estás eligiendo un modelo abierto para un flujo de producción de un producto (generación de personajes, storyboards o interiores), disponer de control estructural bajo Apache 2.0 es una ventaja considerable. Evita tener que recurrir a API cerradas para lograr composiciones predecibles.
• Si tienes una tarjeta de 16 GB, empieza con la configuración cuantizada y comprueba cómo afectan INT8 y W4A8 al nivel de detalle.

En definitiva, no es un avance revolucionario en arquitectura, sino una pieza de infraestructura que faltaba. Pero son precisamente estas piezas las que convierten un modelo abierto en una herramienta de trabajo, más allá de la demostración.