التكييف منخفض الرتبة (Low-Rank Adaptation)
LoRA هي تقنية ضبط دقيق فعالة من حيث المعاملات تضيف أزواج مصفوفات منخفضة الرتبة قابلة للتدريب إلى طبقات نماذج مدربة مسبقاً مجمدة، مما يتيح تكييف النموذج الكبير بجزء من عدد المعاملات الأصلي.
LoRA (التكييف منخفض الرتبة) هي طريقة لضبط النماذج العصبية الكبيرة المدربة مسبقاً بإدراج تحليلات منخفضة الرتبة صغيرة قابلة للتدريب في كل مصفوفة وزن مستهدفة مع الحفاظ على أوزان النموذج الأصلية مجمدة. تم تقديمها بواسطة Edward Hu وزملاؤه في Microsoft Research في ورقة عام 2021 (نُشرت في ICLR 2022) وأصبحت منذ ذلك الحين التقنية السائدة للضبط الدقيق الفعال من حيث المعاملات (PEFT) لنماذج اللغة الكبيرة.
بالنسبة لمصفوفة الأوزان W ذات الشكل d × k في طبقة المحول، تقدم LoRA مصفوفتين صغيرتين B (d × r) و A (r × k)، حيث تكون الرتبة r أصغر بكثير من كل من d و k—عادة ما تكون 4 أو 8 أو 16. أثناء المسار الأمامي، يصبح الوزن الفعال W + BA؛ يتم تحديث B و A فقط أثناء التدريب بينما يبقى W مجمداً. لأن r أصغر بعدة رتب من حيث الحجم من d، ينخفض عدد المعاملات القابلة للتدريب بشكل كبير: يتطلب ضبط نموذج بـ 7 مليارات معامل باستخدام LoRA برتبة 8 عادة تحديث أقل من 20 مليون معامل بدلاً من جميع 7 مليارات، مما يقلل متطلبات ذاكرة المحسّن بعامل مماثل.
الأهمية العملية لـ LoRA ثلاثية الجوانب. أولاً، فإنها تجعل الضبط الدقيق ممكناً على الأجهزة التي لا يمكنها الاحتفاظ بحالة محسّن كاملة لنموذج كبير. ثانياً، يمكن تخزين ومبادلة محولات LoRA متعددة على أعلى نموذج أساس مشترك واحد، مما يتيح تقديم كفء متعدد المستأجرين للمتغيرات المخصصة دون تكرار أوزان القاعدة في الذاكرة. ثالثاً، ملفات المحول مضغوطة—غالباً عشرات إلى مئات الميجابايت—مما يجعل مشاركة المجتمع مباشرة؛ يستضيف Hugging Face Hub آلاف محولات LoRA المنشورة علناً للنماذج عبر العديد من المجالات.
بحلول عام 2026، تم دمج LoRA بشكل أصلي في مكتبة Hugging Face PEFT وهي طريقة الضبط الدقيق الافتراضية في معظم أدوات LLM مفتوحة المصدر، بما في ذلك Axolotl و LLaMA-Factory و Unsloth. معالجات مثل DoRA (LoRA المحللة بالوزن) و rsLoRA (تحجيم مستقر الرتبة) تعالج حدود الاستقرار والتعبير عن الصيغة الأصلية. منصات الضبط الدقيق التجارية من OpenAI و Together AI و Fireworks AI تقدم تخصيص مستند إلى LoRA كخدمة مُدارة دون الحاجة إلى إعداد البنية الأساسية.