علماء يطوّرون MEMO: إطار عمل لتوسيع ذاكرة النماذج اللغوية الكبيرة دون إعادة تدريبها

قدّم باحثون من الجامعة الوطنية في سنغافورة (NUS) وMIT وA*STAR إطار MEMO، وهو إطار عمل معياري يتيح للنماذج اللغوية التعلّم السريع من معارف جديدة دون إعادة تدريب النموذج الأساسي.

مشكلة توسيع المعارف

تُدرَّب النماذج اللغوية الكبيرة الحديثة على مجموعات بيانات ضخمة، وتخزّن ما تكتسبه من معارف في معاملاتها. وعندما تظهر الحاجة إلى إضافة معارف جديدة، مثل بيانات من قاعدة بيانات مؤسسية أو مراجع طبية أو معلومات محدّثة عن أحدث الأحداث، يتطلب النهج التقليدي إعادة تدريب النموذج بالكامل. ويعني ذلك أشهرًا من الحوسبة وملايين الدولارات من التكاليف واستهلاكًا هائلًا للطاقة.

إضافة إلى ذلك، قد «ينسى» النموذج الأساسي عند إعادة تدريبه ما كان يعرفه أصلًا، وهي ظاهرة تُعرف بالنسيان الكارثي.

كيف يعمل MEMO

يقدّم MEMO حلًا أنيقًا يقوم على وحدة منفصلة قابلة للتدريب تُسمّى «نموذج الذاكرة». فبدلًا من المساس بمعاملات النموذج اللغوي الكبير الأساسي، تُرمَّز المعارف الجديدة في هذه الوحدة المخصصة، التي تعمل كطبقة ذاكرة إضافية توسّع قدرات النموذج دون إعادة تصميمه.

تتكوّن بنية MEMO من عدة مكونات معيارية:

• النموذج اللغوي الكبير الأساسي (مجمَّد): يولّد النص كالمعتاد، دون أي تغيير في معاملاته
• نموذج الذاكرة: وحدة مدمجة قابلة للتدريب تحفظ الحقائق والمعارف الجديدة من المدوّنة النصية
• وحدة التكامل: تربط الذاكرة بالنموذج الأساسي عند توليد الإجابات للمستخدم
• آلية البحث: تعثر على الحقائق ذات الصلة في الذاكرة لحظة الاستدلال (inference) لتوفير السياق
• مسار التدريب (pipeline): يحدّث معاملات وحدة الذاكرة فقط، ويترك النموذج اللغوي الكبير دون مساس

المزايا العملية

يمنح هذا النهج الشركات والباحثين عدة مزايا رئيسية. أولًا، يوفّر الموارد الحاسوبية بصورة جذرية، إذ لا يلزم تدريب سوى وحدة الذاكرة المدمجة، لا نموذج لغوي كبير يضم عشرات المليارات من المعاملات بل مئات المليارات. ثانيًا، يبقى النموذج الأساسي مستقرًا، فلا يتأثر سلوكه الأصلي ولا معارفه المكتسبة سابقًا عند إضافة حقائق جديدة. ثالثًا، يمكن تحديث المعارف خلال ساعات أو أيام، بدل أشهر من دورات إعادة التدريب الشاقة.

وبالنسبة إلى الاستخدام المؤسسي، يعني ذلك إمكانية تكييف النماذج اللغوية الكبيرة الجاهزة مع المهام الخاصة بتكلفة منخفضة وسرعة عالية: إضافة معارف خاصة بالمجال، وتحديث المعلومات في الوقت الفعلي استجابةً للأحداث الجديدة، وإنشاء نسخ مخصصة من النماذج لمنتجات وعملاء مختلفين.

ماذا يعني ذلك

يمثّل MEMO خطوة مهمة أخرى نحو البنى المعيارية في الذكاء الاصطناعي. فبدلًا من اعتبار النموذج اللغوي الكبير صندوقًا أسود غير قابل للتجزئة يجب إعادة تدريبه بالكامل مع كل تحديث للمعارف، يُظهر الباحثون أن الذاكرة والقدرات الأصلية يمكن فصلهما عن بعضهما.

ويفتح ذلك الطريق أمام طرق أكثر مرونة وأقل تكلفة وأكثر اقتصادًا لتطوير النماذج اللغوية وتكييفها.