Black Forest Labs lance FLUX.3 Klein : une image 1024×1024 en 2 secondes sur H100

Black Forest Labs a publié FLUX.3 Image Klein, un nouveau modèle ouvert de génération d'images. Hugging Face a annoncé sa prise en charge dans Diffusers dès le jour de la sortie. Un seul modèle couvre le text-to-image et l'image-to-image avec plusieurs références. Sa principale nouveauté : le contrôle de la mise en page par bounding box, écrites directement dans le prompt. Le checkpoint distillé produit une image 1024×1024 en environ 2 secondes sur NVIDIA H100.

La disposition du cadre directement dans le prompt

On ajoute à la description de la scène une liste JSON de régions. Chacune comporte un identifiant, une boîte bbox et une description desc. Dans le texte principal, la région est référencée par une balise du type `<silhouette_1>`. Les coordonnées s'écrivent dans l'ordre [y_min, x_min, y_max, x_max], sur une échelle normalisée de 0 à 1000. Une même boîte fonctionne donc quelle que soit la résolution.

Pour l'édition, le schéma est étendu. Chaque région reçoit un src_bbox (d'où prélever le contenu de la référence) et un tgt_bbox (où le placer). Lorsque les deux boîtes coïncident, la zone reste en place. Dans l'exemple des développeurs, le chevalier tricoté est déplacé vers le haut et vers la gauche, tandis que l'arrière-plan, la falaise, l'aiguille, le dragon et le feu restent fixes. Lorsqu'un prompt contient plusieurs références, elles s'appellent `<ref_image_0>`, `<ref_image_1>`, et ainsi de suite, dans l'ordre où elles sont transmises.

Vitesse et mémoire : ce que montrent les mesures

Les mesures ont été réalisées sur une seule H100 80GB, sans offloading, en moyenne de trois passes après échauffement, pour le checkpoint distilled en 16 étapes :

• Text-to-image, 1024×1024 : 1,93 s, pic de mémoire de 23,8 GiB
• Image-to-image avec une référence 1024×1024 : 3,87 s, 23,8 GiB
• Édition de mise en page (chevalier), référence 1360×768 : 4,10 s, 23,8 GiB

La référence double le temps de calcul en raison de l'architecture. Le VAE de Flux.2 compresse l'image d'un facteur 8 sur chaque côté, jusqu'à 32 canaux. Chaque patch 2×2 est ensuite empaqueté dans un token de 128 canaux. Un token couvre 16×16 pixels, et une image 1024×1024 donne 4 096 tokens. La référence ajoute autant de tokens à chaque appel du transformer : 4 256 en text-to-image, 8 272 en image-to-image, 4 336 en layout text-to-image et 8 800 en layout image-to-image.

L'encodeur de texte est Qwen3-VL. Le modèle prélève les états cachés de huit des 36 couches (4, 8, … 32) et les concatène : chaque token devient un vecteur de 8 × 2560 = 20 480 dimensions, qu'une couche linéaire projette vers la largeur du transformer, 3072.

Checkpoints, quantification et fine-tuning

La collection comprend deux checkpoints ouverts :

• black-forest-labs/flux-3-image-klein — distillé par étapes, 16 étapes, sans CFG
• black-forest-labs/flux-3-image-klein-base — modèle de base, 50 étapes, CFG ; c'est celui-ci qu'il est recommandé d'affiner

Le transformer est disponible en un seul fichier en bf16 et dans deux formats quantifiés. Le format fp8r (rowwise FP8) exige une compute capability 8.9+ (Ada, Hopper, Blackwell). Sur les autres GPU, les poids sont déquantifiés à chaque étape : on économise de la mémoire, mais sans accélération. Le format nvfp4 offre des kernels rapides sur Blackwell et requiert flashinfer-python et flashinfer-cubin dans la même version. Le chargement passe par from_single_file avec BFLQuantizationConfig.

Pic de mémoire après le chargement et après l'inférence :

• nvfp4 (RTX 6000) : 13,4 et 15,3 GiB
• fp8r (H100) : 14,35 et 16,27 GiB
• bf16 (H100) : 18,80 et 20,72 GiB

Le pipeline est livré sous forme de Modular Diffusers : on peut retirer des blocs ou ajouter les siens. En cas de manque de mémoire, trois options existent : le transformer quantifié, l'exécution séparée de l'encodeur de texte avec libération de la mémoire (il n'est nécessaire qu'une fois par image) et l'offloading CPU automatique via ComponentsManager (ses auteurs ne l'ont pas benchmarké).

Pour la LoRA, diffusers propose deux scripts DreamBooth : train_dreambooth_lora_flux3_klein.py pour la génération et train_dreambooth_lora_flux3_klein_img2img.py pour l'édition, sur des triplets (référence, cible, instruction). Dans l'exemple basé sur le jeu de données 1920-raider-waite-tarot-public-domain, le style tarot est appris avec le déclencheur trtcrd : rank 16, lora_alpha 16, lr 1e-4, 1500 étapes, bf16, batch size 1. Les options --gradient_checkpointing, --cache_latents et --use_8bit_adam économisent de la mémoire. L'entraînement est aussi possible via AI Toolkit d'Ostris.

Par où commencer

Installez les dernières versions de diffusers et transformers (`pip install -U diffusers transformers`), chargez ModularPipeline depuis black-forest-labs/flux-3-image-klein en bfloat16, puis appelez le pipeline avec prompt et output="images". Une description détaillée de la scène, avec l'objet, le lieu, la lumière, la composition et le style, fonctionne mieux qu'une phrase courte. Pour l'édition, rédigez le prompt comme une légende du résultat souhaité, modification incluse. Sur les cartes GPU plus modestes, choisissez fp8r ou nvfp4. On peut aussi essayer le modèle dans le Space de Hugging Face, sans rien installer.