HyperRepair يعيد إلى نماذج LLM المضبوطة بدقة 93,4% من المهارات العامة ويحافظ على 99,5% من الأداء في المجال

وصف فريق من Shanghai Jiao Tong University وUniversity of Queensland طريقة HyperRepair، وهي تعيد إلى النموذج اللغوي المضبوط بدقة المهارات العامة التي فقدها أثناء تكييفه مع مهمة ضيقة. ولا تحتاج الطريقة إلى بيانات من المجال المستهدف، ولا إلى تدريب إضافي من جانب المستخدم: تُوصَل بالنموذج المجمّد شبكة جانبية صغيرة، وتتولى شبكة فائقة منفصلة توليد أوزانها. وعلى 12 مجموعة بيانات LoRA و15 اختبار أداء عامًا، استعادت الطريقة 93,4% من متوسط الدرجة العامة للنماذج الأساسية، وحافظت في الوقت نفسه على 99,5% من متوسط درجة المجال للنسخ المضبوطة بدقة.

لماذا يصطدم الإصلاح بعد الضبط الدقيق بمعادلة المفاضلة

يحسّن الضبط الدقيق أداء النموذج في المجال المستهدف، لكنه يُضعف معرفته العامة وقدرته على الاستدلال. وحتى LoRA، التي لا تدرّب سوى جزء صغير من المعاملات، لا تحمي من النسيان الكارثي. وتنقسم الحلول المعروفة إلى معسكرين. يتدخل الأول في عملية الضبط الدقيق نفسها: تنظيم المعاملات، وإعادة عرض البيانات القديمة، والتقطير، وإعادة بناء المحوّلات (adapters) وأوزان دالة الخسارة. وتتطلب هذه الأساليب التحكم في التدريب، ولا تفيد إذا كانت نقطة الحفظ (checkpoint) جاهزة بالفعل. أما الثاني فيعمل بعد وقوع الضبط: يدمج النماذج أو يقلّم الأوزان مع مراعاة النسيان. غير أن مجموعة واحدة من الأوزان المعدّلة تُطبَّق على جميع الاستعلامات، وغالبًا ما يُدفع ثمن المكسب في المهارات العامة من التخصص في المجال.

اختار المؤلفون مسارًا مختلفًا. تبقى أوزان النموذج المضبوط بدقة دون مساس، ويعيش التصحيح في قناة منفصلة. ويُحتفظ بالنموذج الأصلي كخيار احتياطي، ويمكن تحديد الحاجة إلى التصحيح من الموجّه (prompt) نفسه.

شبكة جانبية ببوابة وشبكة فائقة تولّدها

Repairing Side Net (RSN) شبكة محوّلات (Transformer) خفيفة، تتصل بالحالات الوسيطة للنموذج المجمّد. وهي تُخرج تصحيحًا residualًا للحالة المخفية النهائية قبل «رأس» اللغة. وتقرر البوابة مقدار تطبيق هذا التصحيح: تحسب متوسط الحالات على رموز الموجّه (tokens)، وتمرّرها عبر MLP صغيرة بدالة سيغمويد. وتُدرَّب البوابة لتُخرج واحدًا على الاستعلامات العامة وصفرًا على الاستعلامات المجالية غير الموسومة. وعند الصفر يُصدر النموذج التنبؤات السابقة نفسها للنسخة المضبوطة بدقة.

أما الجزء الأكثر إثارة فهو كيفية الحصول على RSN لنموذج جديد دون تدريب. يُوصَف كل نموذج مضبوط بدقة بـ«بصمة تنشيط»: على مجموعة ثابتة من الموجّهات العامة غير الموسومة، يُقاس مقدار انزياح الحالات المخفية في كل طبقة عن النموذج المدرَّب مسبقًا. ويُفكَّك هذا الانزياح إلى اتجاه ولوغاريتم المقدار. ثم يرمّز محوّل (Transformer) هذه الخصائص طبقةً بطبقة ويكوّن تمثيلات محلية وعامة. وانطلاقًا منها تولّد HyperNet معاملات RSN مع البوابة: قالب عام قابل للتدريب مضافًا إليه إضافة مشروطة بالبصمة. وتُجمَّع التصحيحات المصفوفية من عوامل منخفضة الرتبة، مما يقلّص عدد القيم المولَّدة.

يبدأ العمل بتدريب RSN خاصة لكل نموذج مصدر، وتصبح معاملاتها أهدافًا للشبكة الفائقة. وتُدرَّب الشبكة الفائقة بثلاث إشارات: متوسط مربعات الخطأ بين الأوزان المولَّدة والمرجعية، ومواءمة الخصائص التي تقرؤها البوابة، ودالة خسارة وظيفية على تنبؤات النموذج المتصل بـ RSN المولَّدة. والجزء الوظيفي ضروري لأن أخطاء الأوزان تؤثر في التصحيح نفسه وفي قرار البوابة معًا. وعند النشر، يُحسب لنموذج من مجال غير معروف بصمته، وتُشغَّل الشبكة الفائقة مرة واحدة، ثم تُوصَل RSN الجاهزة.

ماذا أظهرت الاختبارات وأين تبقى الأسئلة

قيّم المؤلفون الطريقة على عائلتين من النماذج، و12 مجال تكييف (التصنيف، والأسئلة والأجوبة، والتحليل الدلالي، وتلخيص الشيفرة البرمجية)، و15 اختبار أداء عامًا. ومن بين نقاط الحفظ الأساسية ذُكر Qwen2.5-7B؛ لكن نص الوصف ينقطع، لذا لا يظهر هنا العائلة الثانية ولا تفاصيل مجموعات البيانات. دُرّبت الشبكة الفائقة على النماذج المصدر، واختُبرت على مجالات لم تكن في التدريب. وفي التقسيم القياسي كانت النتيجة 93,4% من الدرجة العامة للنماذج الأساسية و99,5% من درجة المجال للنماذج المضبوطة بدقة.

المغزى العملي واضح: إذا كانت شركة تحتفظ بالعديد من محوّلات LoRA على قاعدة واحدة، فإن إصلاح كل محوّل بتدريب منفصل ينمو خطيًا مع عددها، أما هنا فتختزل التكلفة في تمريرة واحدة للشبكة الفائقة. والقيود واضحة أيضًا. فالطريقة مرتبطة بقاعدة مدرَّبة مسبقًا مشتركة، والتصحيح يضيف حسابات إلى الاستدلال (inference)، والرقم 93,4% يعني أنه لا يوجد استرجاع كامل. أما هل ينجح النهج على أحجام ومعماريات أخرى، وكيف تتصرف البوابة مع الاستعلامات الحدّية، فغير واضح من النص المتاح. وهذا ما ستكشفه عملية استنساخ مستقلة.