Hugging Face تقارن بين جميع بدائل LoRA: من يتفوق في الضبط الدقيق لنماذج LLM

أصبحت LoRA المعيار الفعلي لضبط النماذج اللغوية الكبيرة: فهي رخيصة وسريعة، وتعمل تقريبًا في كل مكان دون مفاجآت. قررت Hugging Face أن تطرح سؤالًا صريحًا: هل يمكن تحقيق نتيجة أفضل؟ وإن كان ذلك ممكنًا، فمتى تحديدًا؟

لماذا تحافظ LoRA على موقعها

تعمل LoRA (Low-Rank Adaptation) بفكرة بسيطة: بدل تحديث مليارات الأوزان في النموذج، تضيف الطريقة زوجًا من المصفوفات الصغيرة منخفضة الرتبة إلى الطبقات الرئيسية. ينخفض عدد المعاملات القابلة للتدريب بمقدار 10–1000 مرة، ما يجعل الضبط الدقيق متاحًا حتى على وحدات GPU الاستهلاكية.

ولهذا السبب انتشرت LoRA على نطاق واسع: تُستخدم لإعادة تدريب Llama وMistral، ولإنشاء أنماط مخصصة في Stable Diffusion، ولتكييف نماذج LLM المؤسسية مع خصوصيات مجال بعينه. وتسجّل مكتبة Hugging Face PEFT مئات الآلاف من عمليات التنزيل أسبوعيًا.

غير أن لـ LoRA نقاط ضعف. فعند الرتب العالية للمصفوفات (rank=64 وما فوق) يصبح التدريب غير مستقر. وفي المهام التي تتطلب نقلًا دقيقًا للمعرفة الواقعية، تتخلف الطريقة أحيانًا عن الضبط الدقيق الكامل. وفي السيناريوهات ذات القيود الصارمة على الذاكرة، مثل التدريب على بطاقة رسومات واحدة اقتصادية، قد تكون حتى LoRA مستهلكة للذاكرة أكثر من اللازم.

ما الذي اختبرته Hugging Face

اعتمد الفريق على مكتبة PEFT وأجرى مقارنة منهجية بين LoRA وخمسة بدائل على مهام downstream حقيقية:

• DoRA — تفكّك الأوزان إلى اتجاه ومقدار وتحدّثهما بشكل مستقل، ما يقرّب سلوكها من الضبط الدقيق الكامل
• LoRA+ — فكرة بسيطة: تُدرَّب المصفوفتان A وB بمعدلي تعلّم (learning rate) مختلفين، وتحصل المصفوفة B على lr أعلى لتسريع التقارب
• rsLoRA — معامل تطبيع يثبّت التدرجات عند القيم الكبيرة لـ rank
• VeRA — مصفوفات عشوائية مجمّدة، ولا تُدرَّب سوى متجهات تحجيم صغيرة جدًا؛ وعدد المعاملات فيها أقل بعشرات المرات منه في LoRA
• GaLore — تسقط التدرجات نفسها في فضاء منخفض الرتبة، فتوفّر ذاكرة المُحسِّن (optimizer) دون تغيير بنية الأوزان

المقاييس: الجودة على مهام الاختبار (NLU، واتباع التعليمات، والتلخيص)، وذروة استهلاك ذاكرة GPU، وسرعة الحقبة التدريبية الواحدة.

من ينافس الصدارة

لا يوجد فائز واحد حاسم، فلكل طريقة ملفها الخاص.

DoRA تحقق باستمرار جودة أعلى قليلًا من LoRA بعدد المعاملات نفسه والذاكرة نفسها. ويبدو الفارق أوضح في مهام اتباع التعليمات والاستدلال (reasoning). أما الثمن فهو زمن تدريب أطول قليلًا بسبب تفكيك الأوزان الإضافي.

rsLoRA لا تحسّن الجودة الأساسية، لكنها تزيل عدم الاستقرار عند الرتب العالية. وإذا كنت تحتاج إلى rank=128 أو أعلى فإن rsLoRA شبه إلزامية، إذ تبدأ LoRA الكلاسيكية عندها بالتذبذب.

VeRA مفيدة في السيناريوهات التي تفرض قيودًا صارمة على حجم المحوّل (adapter)، مثل خدمة آلاف المحوّلات الخاصة بالمستخدمين على خادم واحد، لكنها تتراجع قليلًا في الجودة.

«تظل

LoRA الخيار الافتراضي الأفضل، لكن معرفة البدائل تتيح استخلاص أقصى أداء في ظروف محددة»، بحسب خلاصة مؤلفي الدراسة.

GaLore تتيح التدريب على وحدات GPU ذات سعة VRAM صغيرة دون تغيير بنية الأوزان. وهي مناسبة للتدريب المسبق (pre-training) أو مواصلة التدريب المسبق (continued pre-training)، حين يلزم التعامل مع جميع الأوزان لكن الذاكرة المتاحة شحيحة للغاية. غير أن التدريب يصبح أبطأ بشكل ملحوظ.

ماذا يعني ذلك

يتجه نظام PEFT البيئي نحو النضج: فبدل طريقة شاملة واحدة لكل الحالات، تتشكل مجموعة أدوات متنوعة. وبالنسبة لفرق المنتجات، يعني ذلك أمرًا واحدًا: قبل اختيار طريقة الضبط الدقيق، يستحق الأمر قضاء ساعة في اختبار مقارن على مهمتكم الخاصة، بدل اعتماد LoRA بحكم العادة. وفرص أن يحقق بديل ما مكسبًا ملحوظًا في سيناريوكم تحديدًا أعلى الآن من أي وقت مضى.