العلماء يطورون MEMO - إطار عمل لتوسيع ذاكرة نماذج اللغة الكبيرة دون إعادة تدريب

قدم الباحثون من الجامعة الوطنية بسنغافورة (NUS) ومعهد ماساتشوستس للتكنولوجيا (MIT) و A*STAR نموذج MEMO - إطار عمل معياري يسمح لنماذج اللغة بالتعلم السريع من معارف جديدة دون إعادة تدريب النموذج الأساسي.

مشكلة توسيع نطاق المعارف

يتم تدريب نماذج اللغة الكبيرة الحديثة على مجموعات بيانات ضخمة وتخزين المعارف المكتسبة في معاملاتها. عندما تكون هناك حاجة لإضافة معارف جديدة - مثل البيانات من قاعدة بيانات الشركة أو المراجع الطبية أو المعلومات الحالية عن الأحداث الأخيرة - يتطلب النهج التقليدي إعادة تدريب كاملة للنموذج. هذا يعني أشهراً من الحسابات وملايين الدولارات من التكاليف واستهلاكاً هائلاً للطاقة. علاوة على ذلك، أثناء إعادة التدريب، قد يقوم النموذج الأساسي بـ"نسيان" ما كان يعرفه بالفعل - وهي ظاهرة معروفة باسم النسيان الكارثي.

كيف يعمل MEMO

يقترح MEMO حلاً أنيقاً: وحدة منفصلة قابلة للتدريب تُعرَّف باسم "نموذج الذاكرة". بدلاً من تعديل معاملات نموذج اللغة الأساسي، يتم ترميز المعارف الجديدة في هذه الوحدة المخصصة، التي تعمل كطبقة ذاكرة إضافية، تعزز قدرات النموذج دون إعادة تشكيله.

تتكون معمارية MEMO من عدة مكونات معيارية:

• نموذج اللغة الأساسي (مجمد) - يوليد النص كالمعتاد، دون أي تغييرات في المعاملات
• نموذج الذاكرة - وحدة معيارية صغيرة قابلة للتدريب، تتذكر الحقائق والمعارف الجديدة من المدونة
• وحدة التكامل - تربط الذاكرة بالنموذج الأساسي عند توليد ردود المستخدم
• آلية البحث - تجد الحقائق ذات الصلة من الذاكرة في وقت الاستدلال لإضفاء السياق
• خط أنابيب التدريب - يحدث معاملات وحدة الذاكرة فقط، تاركاً نموذج اللغة دون تغيير

المزايا العملية

يوفر هذا النهج للشركات والباحثين عدة مزايا رئيسية. أولاً، هذا توفير جذري في الموارد الحسابية - يجب إعادة تدريب وحدة الذاكرة الصغيرة فقط، وليس نموذج لغة بمليارات المعاملات. ثانياً، يظل النموذج الأساسي مستقراً: سلوكه الأصلي والمعارف المكتسبة سابقاً لا تتلاشى عند إضافة حقائق جديدة. ثالثاً، يمكن تحديث المعارف بسرعة في ساعات أو أيام، وليس في أشهر من دورات إعادة التدريب الشاقة. بالنسبة للتطبيق الشركاتي، هذا يعني إمكانية تكييف نماذج اللغة الجاهزة بسرعة وبتكلفة منخفضة - إضافة معارف مخصصة للمجال، وتحديث المعلومات في الوقت الفعلي استجابة للأحداث الجديدة، وإنشاء متغيرات مخصصة من النماذج لمنتجات وعملاء مختلفين.

ماذا يعني هذا

يعد MEMO خطوة مهمة أخرى نحو معماريات معيارية للذكاء الاصطناعي. بدلاً من اعتبار نموذج اللغة الكبيرة صندوقاً أسود غير قابل للتقسيم يجب إعادة تدريبه بالكامل عند كل تحديث للمعارف، يظهر الباحثون أن الذاكرة والقدرات الأساسية يمكن فصلها عن بعضها البعض. يفتح هذا الطريق أمام طرق أكثر مرونة وأرخص وأكثر اقتصاداً لتطوير وتكييف نماذج اللغة.