Black Forest Labs lança o FLUX.3 Klein: 1024×1024 em 2 segundos na H100

A Black Forest Labs lançou o FLUX.3 Image Klein, novo modelo aberto de geração de imagens. A Hugging Face anunciou o suporte no Diffusers no dia do lançamento. Um único modelo cobre text-to-image e image-to-image com várias referências, e a principal novidade é o controle de layout por bounding boxes escritas diretamente no prompt. O checkpoint destilado gera um quadro de 1024×1024 em cerca de 2 segundos em uma NVIDIA H100.

Layout do quadro direto no prompt

À descrição da cena se acrescenta uma lista JSON de regiões. Cada região tem um identificador, uma caixa bbox e uma descrição desc, e no texto principal ela é citada por uma tag como `<silhouette_1>`. As coordenadas seguem a ordem [y_min, x_min, y_max, x_max], em escala normalizada de 0 a 1000, de modo que a mesma caixa funciona em qualquer resolução.

Para edição, o esquema foi ampliado. Cada região recebe um src_bbox (de onde tirar o conteúdo da referência) e um tgt_bbox (onde colocá-lo). Se as caixas coincidem, a área permanece no mesmo lugar. No exemplo, os desenvolvedores deslocam um cavaleiro de tricô para cima e para a esquerda, e mantêm fixos o fundo, o penhasco, a agulha, o dragão e o fogo. Quando há várias referências no prompt, elas são chamadas de `<ref_image_0>`, `<ref_image_1>` e assim por diante, na ordem em que são enviadas.

Velocidade e memória: o que mostraram as medições

As medições foram feitas em uma única H100 80GB, sem offloading, com a média de três execuções após o warm-up, usando o checkpoint distilled em 16 passos:

• Text-to-image, 1024×1024: 1,93 s, pico de memória de 23,8 GiB
• Image-to-image com uma referência de 1024×1024: 3,87 s, 23,8 GiB
• Edição de layout (cavaleiro), referência de 1360×768: 4,10 s, 23,8 GiB

A referência dobra o tempo por causa da arquitetura. O VAE do Flux.2 comprime a imagem em 8 vezes em cada lado, até 32 canais, e depois cada patch 2×2 é empacotado em um token de 128 canais. Um token cobre 16×16 pixels, e uma imagem de 1024×1024 resulta em 4 096 tokens. A referência adiciona a mesma quantidade a cada chamada do transformer: text-to-image usa 4 256 tokens, image-to-image, 8 272, layout text-to-image, 4 336, e layout image-to-image, 8 800.

O text encoder é o Qwen3-VL. O modelo pega os estados ocultos de oito das 36 camadas (4, 8, … 32) e os concatena: cada token vira um vetor de 8 × 2560 = 20 480 dimensões, que uma camada linear projeta para a largura do transformer, 3072.

Checkpoints, quantização e fine-tuning

A coleção traz dois checkpoints abertos:

• black-forest-labs/flux-3-image-klein — destilado por passos, 16 passos, sem CFG
• black-forest-labs/flux-3-image-klein-base — base, 50 passos, CFG; é ele que os autores recomendam para fine-tuning

O transformer está disponível em um único arquivo em bf16 e em dois formatos quantizados. O fp8r (rowwise FP8) exige compute capability 8.9+ (Ada, Hopper, Blackwell). Em outras GPUs, os pesos são desquantizados a cada passo: economiza-se memória, mas não há ganho de velocidade. O nvfp4 oferece kernels rápidos na Blackwell e exige flashinfer-python e flashinfer-cubin na mesma versão. O carregamento é feito por from_single_file com BFLQuantizationConfig.

Pico de memória após o carregamento e após a inferência:

• nvfp4 (RTX 6000): 13,4 e 15,3 GiB
• fp8r (H100): 14,35 e 16,27 GiB
• bf16 (H100): 18,80 e 20,72 GiB

O pipeline é distribuído como Modular Diffusers: é possível remover blocos ou adicionar os seus. Para quem tem pouca memória, há o transformer quantizado, a execução do text encoder em separado com liberação de memória em seguida (ele é necessário uma vez por imagem) e o CPU offloading automático via ComponentsManager (os autores não fizeram benchmark dele).

Para LoRA, o diffusers tem dois scripts de DreamBooth: train_dreambooth_lora_flux3_klein.py para geração e train_dreambooth_lora_flux3_klein_img2img.py para edição, com tríades (referência, alvo, instrução). No exemplo com o dataset 1920-raider-waite-tarot-public-domain, o estilo de tarô é aprendido com o gatilho trtcrd: rank 16, lora_alpha 16, lr 1e-4, 1500 passos, bf16, batch size 1. As flags --gradient_checkpointing, --cache_latents e --use_8bit_adam economizam memória. Também é possível treinar pelo AI Toolkit, da Ostris.

Por onde começar

Instale as versões mais recentes de diffusers e transformers (`pip install -U diffusers transformers`), carregue o ModularPipeline de black-forest-labs/flux-3-image-klein em bfloat16 e chame o pipeline com prompt e output="images". Uma descrição detalhada da cena, com objeto, local, iluminação, composição e estilo, funciona melhor do que uma frase curta. Para edição, escreva o prompt como uma legenda do resultado desejado, já com a alteração. Para GPUs menores, use fp8r ou nvfp4. Também é possível testar o modelo em um Space da Hugging Face, sem instalar nada.