Hugging Face сравнила все альтернативы LoRA: кто побеждает в тонкой настройке LLM

أصبحت LoRA المعيار الفعلي لضبط النماذج اللغوية الكبيرة: رخيصة وسريعة وتعمل في كل مكان تقريباً دون مفاجآت. قررت Hugging Face طرح سؤال صريح: هل يمكننا القيام بعمل أفضل — وإذا كان الأمر كذلك، فمتى بالضبط؟

لماذا تحافظ LoRA على مواقعها

تعمل LoRA (التكيف منخفض الرتبة) ببساطة: بدلاً من تحديث كل المليارات من أوزان النموذج، تضيف الطريقة زوجاً من مصفوفات منخفضة الرتبة الصغيرة إلى الطبقات الرئيسية. ينخفض عدد المعاملات القابلة للتدريب بمعامل 10-1000. هذا يجعل الضبط الدقيق في متناول حتى بطاقات الرسومات الاستهلاكية.

هذا هو السبب في أن LoRA أصبحت في كل مكان: يتم استخدامها للتدريب الإضافي لـ Llama و Mistral، وإنشاء أنماط مخصصة في Stable Diffusion، وتكييف LLMs الخاصة بالشركات مع الاحتياجات المحددة للمجال. تسجل مكتبة PEFT من Hugging Face مئات الآلاف من التنزيلات أسبوعياً. لكن لـ LoRA نقاط ضعف.

عند رتب المصفوفات العالية (rank=64 وما فوق)، يصبح التدريب غير مستقر. في المهام حيث يكون نقل المعرفة الدقيق مهماً، قد تخسر الطريقة أحياناً أمام الضبط الدقيق الكامل. وفي السيناريوهات ذات قيود الذاكرة الصارمة — على سبيل المثال، التدريب على بطاقة رسومات واحدة بميزانية محدودة — يمكن حتى أن تثبت LoRA أنها تستهلك الكثير من الموارد.

ما الذي اختبرته Hugging Face

أخذت الفرقة مكتبة PEFT وأجرت مقارنة منهجية لـ LoRA مع خمس بدائل على مهام فعلية متعددة الاستخدام:

• DoRA — تحلل الأوزان إلى الاتجاه والحجم، وتحدثها بشكل مستقل، وتقترب من سلوك الضبط الدقيق الكامل
• LoRA+ — فكرة بسيطة: يتم تدريب المصفوفات A و B بمعدلات تعلم مختلفة، تحصل المصفوفة B على معدل أعلى لتسريع التقارب
• rsLoRA — معامل تطبيع يستقر التدرجات عند قيم الرتبة العالية
• VeRA — مصفوفات عشوائية مجمدة، يتم تدريب متجهات التحجيم الصغيرة فقط؛ معاملات أقل بعشرات المرات من LoRA
• GaLore — يسقط التدرجات نفسها في فضاء منخفض الرتبة، مما يوفر ذاكرة المحسّن دون تغيير البنية المعمارية للأوزان

المقاييس: جودة المهام الرقابية (NLU، اتباع التعليمات، الملخصات)، ذروة استهلاك ذاكرة GPU، وسرعة إحدى فترات التدريب.

من يطعن بالزعيم

لا يوجد فائز واضح — لكل طريقة ملفها الخاص. DoRA تظهر جودة أفضل قليلاً بشكل ثابت مقارنة بـ LoRA بنفس عدد المعاملات والذاكرة. ملحوظ بشكل خاص في مهام اتباع التعليمات والتفكير. التكلفة هي وقت تدريب أطول قليلاً بسبب التحليل الإضافي للأوزان. rsLoRA لا تحسن الجودة الأساسية، لكنها تلغي عدم الاستقرار عند الرتب العالية. إذا كنت بحاجة إلى rank=128 أو أعلى — فإن rsLoRA عملياً إلزامية، يبدأ LoRA الكلاسيكي في "الانجراف" هناك. VeRA مثيرة للاهتمام للسيناريوهات ذات قيود صارمة على حجم المحول — على سبيل المثال، عند خدمة آلاف محولات المستخدم على الخادم — لكنها تخسر قليلاً من حيث الجودة.

"تبقى

LoRA الخيار الافتراضي الأفضل — لكن معرفة البدائل تسمح بتحقيق أقصى استفادة من ظروف محددة"، كما يختتم مؤلفو الدراسة.

GaLore تفتح إمكانية التدريب على بطاقات رسومات بذاكرة منخفضة دون تغيير البنية المعمارية للأوزان. مناسبة للتدريب المسبق أو التدريب المسبق المستمر، عندما تحتاج للعمل مع جميع الأوزان لكن لديك ذاكرة حرجة قليلة جداً. التدريب بطيء بشكل ملحوظ في هذه الحالة.

ماذا يعني هذا

ينضج نظام PEFT: بدلاً من طريقة عالمية واحدة لجميع الحالات، تتشكل مصفوفة من الأدوات. بالنسبة لفرق المنتجات، هذا يعني شيئاً واحداً — قبل اختيار طريقة الضبط الدقيق، يستحق الأمر قضاء ساعة على قياس مقارن على مهمتك بدلاً من أخذ LoRA تلقائياً. احتمالات أن تعطي البديل تحسناً ملحوظاً بالضبط على سيناريوك الآن أعلى من أي وقت مضى.