Diffu-LoRA تُعلّم المهايئ أن يقرر بنفسه أي طبقات في Stable Diffusion تحتاج إلى رتبة

يقترح فريق مؤلفي Diffu-LoRA طريقة جديدة لتخصيص نماذج الانتشار لتحويل النص إلى صورة (text-to-image) انطلاقاً من عدة صور مرجعية. تحدد الطريقة بنفسها الطبقات التي تحتاج إلى سعة تكيّف في الترانسفورمر، والطبقات التي لا تحتاج إليها. يبقى النموذج الأساسي المدرَّب مسبقاً مجمّداً، ويظل مجموع الرتب ضمن ميزانية محددة سلفاً. جرى الاختبار على Stable Diffusion باستخدام موضوعات من DreamBooth ومجموعات بيانات إضافية جمعها المؤلفون. ويفيد المؤلفون بتحسّن دقة الحفاظ على الموضوع والتقيّد بالموجّه (prompt) مقارنةً بخطوط الأساس التي اختاروها. لا تتضمن الملخّص أرقاماً محددة، ولذلك لا يمكن حتى الآن تقدير حجم المكسب.

ما المشكلة التي تعالجها الطريقة

مهمة التخصيص مألوفة لكل من درّب نموذجاً على صوره الخاصة: يجب الحفاظ على هوية الموضوع، وفي الوقت نفسه السماح للموجّه بنقله إلى سياقات جديدة. يتطلب الضبط الدقيق الكامل للنموذج عدداً كبيراً من المعاملات وذاكرة كبيرة. أما LoRA التقليدية فتقلّص عدد المعاملات القابلة للتدريب، لكنها تترك مفتوحاً سؤال كيفية توزيع سعة التكيّف على الطبقات. عادةً تُحدَّد الرتبة بالقيمة نفسها في كل مكان، مع أن مساهمة الطبقات في النتيجة النهائية مختلفة بالتأكيد.

تحوّل Diffu-LoRA هذا الاختيار إلى جزء من التدريب. فلا تعود الرتبة معاملاً فائقاً (hyperparameter) يُضبط يدوياً أو بحكم العادة.

كيف تعمل الطريقة

تُدرج مكوّنات منخفضة الرتبة قابلة للتدريب في الطبقات الخطية لكتل الترانسفورمر. ويُسنَد إلى كل مكوّن بوابة (gate) قابلة للتدريب، أي تقدير عددي لمدى فائدته. بعد ذلك تعمل آليتان:

• التحسين ثنائي المستوى (bilevel): تُحدَّث أوزان التكيّف ومعاملات البوابات على أجزاء مختلفة من البيانات، حتى لا تتكيّف البوابات مع المجموعة نفسها التي تتدرب عليها الأوزان؛
• التقليم التدريجي (pruning): تُزال تدريجياً المكوّنات ذات أدنى قيم للبوابات حتى الوصول إلى ميزانية الرتبة المحددة.

ونتيجة لذلك تتوزع سعة التكيّف بين الطبقات بشكل غير متساوٍ. تحصل بعض الطبقات على رتبة أكبر، وتبقى أخرى تقريباً بلا رتبة. ولا يُعدَّل النموذج الأساسي (backbone) في أثناء ذلك، ولهذا يبقى المهايئ الناتج مضغوطاً، مثل LoRA العادية.

ما الذي جرى اختباره وما الذي ينقص

أُجريت التجارب على Stable Diffusion باستخدام موضوعات من DreamBooth ومجموعات بيانات إضافية جُمعت لهذا الغرض. وبحسب المؤلفين، تحسّن Diffu-LoRA الدقة العامة في الحفاظ على الموضوع والاتساق مع الموجّه مقارنةً بخطوط أساس الضبط الدقيق التي جرى تقييمها. وتتناول دراسات الاستئصال (ablations) المنفصلة إسهام التحسين ثنائي المستوى والتقليم التدريجي وموضع تركيب المهايئات.

الحذر هنا في محله. فالملخّص لا يتضمن قيم المقاييس ولا حجم ميزانية الرتبة ولا قائمة خطوط الأساس. وتعني عبارة «مقارنةً بخطوط الأساس التي جرى تقييمها» أن المقارنة محصورة بمجموعة من الطرق اختارها المؤلفون أنفسهم. كما أن الاختبار على Stable Diffusion وحده لا يجيب عن سؤال كيف سيتصرف هذا النهج مع ترانسفورمرات الانتشار الأحدث والنماذج الأكبر. ولذلك يلزم النص الكامل للورقة وإعادة إنتاج مستقلة للنتائج.

الخلاصة العملية

بالنسبة إلى من ينفّذ التخصيص في بيئات الإنتاج (الصور الرمزية، والشخصيات التجارية للعلامات، وتصوير المنتجات)، تبقى الفكرة مفيدة بغض النظر عن مصير هذه الطريقة بعينها. فالرتبة المتساوية في جميع الطبقات ليست بالضرورة مثالية، وقد يحقق التوزيع المتعلَّم، عند الميزانية نفسها، توازناً أفضل بين التعرّف على الموضوع والانصياع للموجّه. وإذا نشر المؤلفون الشيفرة والأرقام الدقيقة، فمن المستحسن تجربة الطريقة على بيانات خاصة في مقابل LoRA العادية بعدد المعاملات نفسه. وينبغي أن تجري المقارنة وفق محورين: هوية الموضوع والتقيّد بالموجّه. وإلى حين نشر هذه البيانات، تبقى Diffu-LoRA فرضية مثيرة للاهتمام، مدعومة بمجموعة محدودة من التجارب.