تعليم ResonatorLM قراءة الذاكرة بحسب الرمز الحالي: انخفاض perplexity عند الطول 1024 من 12,81 إلى 3,76

اقترح باحثون تعديلًا صغيرًا على ResonatorLM، وهو نموذج بحجم حالة ثابت يقرأ الذاكرة من بنك من المذبذبات المركّبة المتخامدة. كان طور القراءة ثابتًا لكل رأس، وصار الآن دالة في الرمز الحالي. أضاف ذلك 0,2% من المعلمات. في تجارب على نماذج على مستوى الحرف بحجم 6 ملايين معلمة (WikiText-2) لم تتغير الجودة عند طول التدريب. لكن عند التدريب على 256 رمزًا والاختبار على 1024 انخفضت perplexity من 12,81 إلى 3,76.

مفترق الطرق الذي بدأ منه العمل

تتجنب النماذج ذات الحالة الثابتة الحجم الكلفة التربيعية للانتباه، لكنها تفرض على المصمم اختيارًا. فإذا اعتمد انتقال الحالة على المدخل، صارت الذاكرة معتمدة على المحتوى. وثمن ذلك أن التدريب القائم على FFT لا يمكن استخدامه بصيغته السابقة. أما إذا كان الانتقال ثابتًا، فيبقى مسار الالتفاف بتعقيد O(T log T)، لكن الذاكرة تُقرأ بالطريقة نفسها مهما كان المدخل.

ينتمي ResonatorLM إلى النوع الثاني. يقرأ كل رأس بنك المذبذبات عبر طور ثابت مُتعلَّم. أبقى مؤلفو العمل الجديد الانتقال كما هو، وغيّروا القراءة فقط: يُحسب الطور الآن انطلاقًا من الرمز الحالي. لا تظهر التبعية للمدخل إلا في مرحلة القراءة، ولذلك يبقى الالتفاف دقيقًا ويجري التدريب بالمخطط السابق نفسه.

ماذا أظهر تحليل البنك غير المُدرَّب

قبل إجراء التجارب، حلّل المؤلفون بنك المذبذبات دون تدريب. يرمّز الطور فعلًا الزمن المنقضي. لكن الذاكرة تتبين أنها قصيرة: فالرمز العادي يهبط دون مستوى الخلفية خلال 2–8 خطوات. ولا يؤدي أي اختيار لمعدل التخامد إلى تمديد إعادة البناء الخطية إلى أبعد من نحو 16 رمزًا.

الأرقام الختامية للعمل:

• الزيادة في المعلمات: 0,2%.
• حجم النماذج: 6 ملايين معلمة، على مستوى الحرف، WikiText-2.
• التدريب على 256 والاختبار على 1024 رمزًا: perplexity تساوي 12,81 للنموذج الأصلي و3,76 للنسخة ذات الطور المعتمد على المدخل.
• عند طول التدريب تتطابق النتائج مع النموذج الأصلي.
• أفق إعادة البناء الخطية في البنك غير المُدرَّب: حتى ~16 رمزًا.
• يهبط الرمز دون مستوى الخلفية خلال 2–8 خطوات.

من أين يأتي التراجع خارج طول التدريب

يتعلق الاستنتاج التشخيصي الأهم برؤوس الذاكرة الطويلة (long-memory). فهي تراكم من التاريخ أكثر مما رأته أثناء التدريب، وعلى المدخلات الطويلة تقرأ الحالة بنمط لم يصادفه النموذج من قبل. ومن هنا يأتي تدهور ResonatorLM الأصلي عند تجاوز طول التدريب. وتعالج تبعية الطور للمدخل هذه المشكلة: فالفجوة بين 12,81 و3,76 تُظهر حجمها.

غير أن الآلية جاءت أكثر تواضعًا مما كان يمكن توقعه. فالطور المُتعلَّم يتتبع الرمز الحالي، لا المسافة إلى الرموز السابقة، ولا ترتفع جودة retrieval. أي أن النموذج لم يتعلم استخراج المقطع المطلوب من الماضي بدقة أكبر. كل ما في الأمر أنه كفّ عن الانهيار حين يتراكم من التاريخ أكثر مما كان في التدريب.

أين يفيد هذا

بالنسبة إلى من يعملون مع نماذج الحالة الالتفافية ذات الانتقال الثابت، الخلاصة عملية: ينبغي فحص التعميم على الأطوال الأكبر بشكل منفصل. يكفي تدريب النموذج على سياق قصير ومقارنة perplexity على سياق أطول بأربع مرات. فقد تختبئ فجوة بهذا الحجم خلف مقاييس جيدة عند طول التدريب. ويساعد تشخيص رؤوس الذاكرة الطويلة، كما في هذا العمل، على تحديد مكان البحث عن السبب.

وثمة قيود أيضًا. أُجريت التجارب على نماذج بحجم 6 ملايين معلمة، وعلى مستوى الحرف، وعلى مجموعة بيانات واحدة. أما نقل النتيجة إلى نماذج على مستوى الرموز بمليارات المعلمات فيبقى غير مُختبَر. ولا يوجد تحسن في retrieval، لذا فالطريقة ليست حلًا للمهام التي تتطلب استخراجًا دقيقًا من السياق. لكنها تبدو مقنعة بوصفها تأمينًا رخيصًا للمدخلات الطويلة بكلفة شبه معدومة من حيث المعلمات.