Black Forest Labs lanza FLUX.3 Klein: 1024×1024 en 2 segundos en una H100

Black Forest Labs ha lanzado FLUX.3 Image Klein, un nuevo modelo abierto de generación de imágenes. Hugging Face anunció el soporte en Diffusers el mismo día del lanzamiento. Un único modelo cubre text-to-image e image-to-image con varias referencias, y su principal novedad es el control del layout mediante bounding box, que se escriben directamente en el prompt. El checkpoint destilado genera una imagen de 1024×1024 en aproximadamente 2 segundos en una NVIDIA H100.

El layout del encuadre, directamente en el prompt

A la descripción de la escena se añade una lista JSON de regiones. Cada una tiene un identificador, un recuadro bbox y una descripción desc, y en el texto principal la región se menciona con una etiqueta como `<silhouette_1>`. Las coordenadas se escriben en el orden [y_min, x_min, y_max, x_max] en una escala normalizada de 0–1000, de modo que el mismo recuadro sirve con cualquier resolución.

Para la edición, el esquema se amplía. Cada región recibe un src_bbox (de dónde tomar el contenido de la referencia) y un tgt_bbox (dónde colocarlo). Si ambos recuadros coinciden, la zona se queda donde está. En el ejemplo, los desarrolladores desplazan hacia arriba y a la izquierda a un caballero de punto, y dejan fijos el fondo, el risco, la aguja, el dragón y el fuego. Cuando hay varias referencias en el prompt, se nombran `<ref_image_0>`, `<ref_image_1>` y así sucesivamente, en el orden en que se pasan.

Velocidad y memoria: qué muestran las mediciones

Las mediciones se hicieron en una sola H100 80GB sin offloading, con la media de tres ejecuciones tras el calentamiento, para el checkpoint distilled con 16 pasos:

• Text-to-image, 1024×1024: 1,93 s, pico de memoria de 23,8 GiB
• Image-to-image con una referencia de 1024×1024: 3,87 s, 23,8 GiB
• Edición de layout (caballero), referencia de 1360×768: 4,10 s, 23,8 GiB

La arquitectura explica por qué la referencia duplica el tiempo. El VAE de Flux.2 comprime la imagen 8 veces por cada lado hasta 32 canales, y después cada parche de 2×2 se empaqueta en un token de 128 canales. Un token cubre 16×16 píxeles, así que una imagen de 1024×1024 genera 4 096 tokens. La referencia añade otros tantos en cada llamada al transformer: text-to-image usa 4 256 tokens, image-to-image 8 272, layout text-to-image 4 336 y layout image-to-image 8 800.

El codificador de texto es Qwen3-VL. El modelo toma los estados ocultos de ocho de sus 36 capas (4, 8, … 32) y los concatena: cada token se convierte en un vector de 8 × 2560 = 20 480 dimensiones, que una capa lineal proyecta al ancho del transformer, 3072.

Checkpoints, cuantización y fine-tuning

La colección incluye dos checkpoints abiertos:

• black-forest-labs/flux-3-image-klein: destilado por pasos, 16 pasos, sin CFG
• black-forest-labs/flux-3-image-klein-base: base, 50 pasos, CFG; es el que se recomienda para fine-tuning

El transformer está disponible en un solo archivo en bf16 y en dos formatos cuantizados. fp8r (rowwise FP8) requiere compute capability 8.9+ (Ada, Hopper, Blackwell). En otras GPU, los pesos se decuantizan en cada paso: se ahorra memoria, pero no se gana velocidad. nvfp4 ofrece kernels rápidos en Blackwell y requiere flashinfer-python y flashinfer-cubin en la misma versión. La carga se hace con from_single_file y BFLQuantizationConfig.

Pico de memoria tras la carga y tras la inferencia:

• nvfp4 (RTX 6000): 13,4 y 15,3 GiB
• fp8r (H100): 14,35 y 16,27 GiB
• bf16 (H100): 18,80 y 20,72 GiB

El pipeline se distribuye como Modular Diffusers: se pueden quitar bloques o añadir los propios. Si falta memoria, hay un transformer cuantizado, la opción de ejecutar el codificador de texto por separado y liberarlo después (solo hace falta una vez por imagen) y offloading automático a CPU mediante ComponentsManager (los autores no lo han medido en benchmarks).

Para LoRA, diffusers incluye dos scripts de DreamBooth: train_dreambooth_lora_flux3_klein.py para generación y train_dreambooth_lora_flux3_klein_img2img.py para edición con tripletes (referencia, objetivo, instrucción). En el ejemplo con el dataset 1920-raider-waite-tarot-public-domain, el estilo del tarot se aprende con el trigger trtcrd: rank 16, lora_alpha 16, lr 1e-4, 1500 pasos, bf16, batch size 1. Los flags --gradient_checkpointing, --cache_latents y --use_8bit_adam ahorran memoria. También se puede entrenar con AI Toolkit de Ostris.

Por dónde empezar

Instala las versiones más recientes de diffusers y transformers (`pip install -U diffusers transformers`), carga ModularPipeline desde black-forest-labs/flux-3-image-klein en bfloat16 y llama al pipeline con prompt y output="images". Una descripción detallada de la escena, con objeto, lugar, luz, composición y estilo, funciona mejor que una frase corta. Para editar, escribe el prompt como un pie de foto del resultado deseado, con el cambio incluido. En GPU más modestas, usa fp8r o nvfp4. También se puede probar el modelo en el Space de Hugging Face, sin instalar nada.