Black Forest Labs تطلق FLUX.3 Klein: صورة 1024×1024 في 2 ثانية على H100

أطلقت Black Forest Labs نموذج FLUX.3 Image Klein، وهو نموذج مفتوح جديد لتوليد الصور. وأعلنت Hugging Face دعمه في Diffusers يوم الإصدار نفسه. يغطي نموذج واحد مهمتَي text-to-image وimage-to-image مع عدة صور مرجعية، أما الجديد الأبرز فهو التحكم في التخطيط عبر bounding box تُكتب مباشرة داخل الـ prompt. وتنتج نسخة الـ checkpoint المقطَّرة إطاراً بدقة 1024×1024 في نحو 2 ثانية على NVIDIA H100.

تخطيط الإطار داخل الـ prompt

تُضاف إلى وصف المشهد قائمة JSON بالمناطق. لكل منطقة معرّف وإطار bbox ووصف desc، وتُذكر المنطقة في النص الرئيسي عبر وسم مثل `<silhouette_1>`. تُكتب الإحداثيات بالترتيب [y_min, x_min, y_max, x_max] على مقياس مُطبَّع من 0 إلى 1000، ولذلك يصلح الإطار نفسه مع أي دقة.

جرى توسيع هذه الصيغة لمهام التحرير. تحصل كل منطقة على src_bbox (من أين يؤخذ محتوى الصورة المرجعية) وtgt_bbox (أين يوضع). وإذا تطابق الإطاران بقيت المنطقة في مكانها. في المثال المعروض يحرّك المطورون الفارس المحبوك إلى الأعلى واليسار، ويثبّتون الخلفية والجرف والبرج والتنين والنار. وتُسمّى الصور المرجعية المتعددة في الـ prompt بالأوسمة `<ref_image_0>` و`<ref_image_1>` وهكذا، بحسب ترتيب تمريرها.

السرعة والذاكرة: ماذا أظهرت القياسات

أُجريت القياسات على بطاقة H100 80GB واحدة دون offloading، وهي متوسط ثلاث تشغيلات بعد مرحلة الإحماء، لنسخة distilled عند 16 خطوة:

• Text-to-image بدقة 1024×1024: 1,93 ثانية، وذروة الذاكرة 23,8 GiB
• Image-to-image بصورة مرجعية واحدة 1024×1024: 3,87 ثانية، و23,8 GiB
• تحرير التخطيط (الفارس)، صورة مرجعية 1360×768: 4,10 ثانية، و23,8 GiB

يعود تضاعف الزمن مع الصورة المرجعية إلى بنية النموذج. يضغط VAE في Flux.2 الصورة بمعامل 8 على كل ضلع إلى 32 قناة، ثم تُعبَّأ كل رقعة (patch) بحجم 2×2 في token ذي 128 قناة. يغطي الـ token الواحد 16×16 بكسل، وتعطي صورة 1024×1024 ما مجموعه 4 096 token. وتضيف الصورة المرجعية العدد نفسه في كل استدعاء للـ transformer: text-to-image — 4 256 token، وimage-to-image — 8 272، وlayout text-to-image — 4 336، وlayout image-to-image — 8 800.

مشفّر النصوص هو Qwen3-VL. يأخذ النموذج الحالات المخفية لثماني طبقات من أصل 36 (الطبقات 4 و8 … 32) ويدمجها، فيتحول كل token إلى متجه من 8 × 2560 = 20 480 بُعداً، تُسقطه طبقة خطية إلى عرض الـ transformer البالغ 3072.

نقاط الحفظ والكمّنة والتدريب الإضافي

تضم المجموعة نقطتَي حفظ (checkpoints) مفتوحتين:

• black-forest-labs/flux-3-image-klein — نسخة مقطَّرة بحسب الخطوات، 16 خطوة، دون CFG
• black-forest-labs/flux-3-image-klein-base — النسخة الأساسية، 50 خطوة، مع CFG؛ وهي التي يُقترح تدريبها تدريباً إضافياً

يتوفر الـ transformer في ملف واحد بصيغة bf16 وبصيغتين مكمَّمتين. تتطلب fp8r (rowwise FP8) قدرة حوسبة compute capability بإصدار 8.9 أو أعلى (Ada وHopper وBlackwell). وعلى بطاقات GPU الأخرى تُفكّ كمّنة الأوزان في كل خطوة: توفَّر الذاكرة، لكن لا يتحقق أي تسريع. أما nvfp4 فتوفر نوى سريعة على Blackwell، وتتطلب flashinfer-python وflashinfer-cubin بالإصدار نفسه. ويجري التحميل عبر from_single_file مع BFLQuantizationConfig.

ذروة الذاكرة بعد التحميل وبعد الاستدلال:

• nvfp4 (RTX 6000): 13,4 و15,3 GiB
• fp8r (H100): 14,35 و16,27 GiB
• bf16 (H100): 18,80 و20,72 GiB

يُقدَّم الـ pipeline بصيغة Modular Diffusers، إذ يمكن حذف الكتل منه أو إضافة كتل خاصة. ولمعالجة نقص الذاكرة تتوفر ثلاثة خيارات: transformer مكمَّم، وتشغيل مشفّر النصوص منفصلاً مع تحرير ذاكرته (يلزم مرة واحدة لكل صورة)، وCPU-offloading تلقائي عبر ComponentsManager (لم يختبره مطوروه بمقاييس الأداء).

ولتدريب LoRA يتضمن diffusers سكربتين من DreamBooth: train_dreambooth_lora_flux3_klein.py للتوليد، وtrain_dreambooth_lora_flux3_klein_img2img.py للتحرير على ثلاثيات (صورة مرجعية، هدف، تعليمات). في مثال مجموعة البيانات 1920-raider-waite-tarot-public-domain يتعلم النموذج أسلوب التاروت بوسم التفعيل trtcrd: rank 16، وlora_alpha 16، وlr 1e-4، و1500 خطوة، وbf16، وbatch size 1. وتوفّر الأعلام --gradient_checkpointing و--cache_latents و--use_8bit_adam استهلاك الذاكرة. ويمكن التدريب أيضاً عبر AI Toolkit من Ostris.

من أين تبدأ

ثبّت أحدث إصدارات diffusers وtransformers (`pip install -U diffusers transformers`)، ثم حمّل ModularPipeline من black-forest-labs/flux-3-image-klein بصيغة bfloat16 واستدعِ الـ pipeline مع prompt وoutput="images". الوصف التفصيلي للمشهد، بما فيه الكائن والمكان والإضاءة والتكوين والأسلوب، يعطي نتائج أفضل من عبارة قصيرة. وللتحرير، اكتب الـ prompt على هيئة تعليق على النتيجة المرغوبة مع التعديل المطلوب. أما لبطاقات GPU الأضعف فاختر fp8r أو nvfp4. ويمكن تجربة النموذج أيضاً في Space على Hugging Face دون تثبيت.