KronLSTM من NX-AI تغيّر قاعدة دلتا وتثبّت الذاكرة دون تطبيع

أتاحت NX-AI، الشركة التي يقودها سيب هوخرايتر والمطوّرة لعائلة xLSTM، نموذج KronLSTM للعموم. وهو معمارية انتباه خطي بقاعدة جديدة لتحديث الذاكرة الترابطية. والادعاء الرئيسي للمؤلفين أن الذاكرة تتصرف بشكل متوقَّع مهما كان طول المدخلات، وأن معيارها المتوقع محدود بانتظام، وأن النموذج ينافس عائلة (Gated) DeltaNet في اختبارات السياق الطويل ويتفوق عليها في حالات كثيرة. ولا يتضمن الملخص جدولًا بالأرقام، ولذلك لا يمكن تقدير حجم التفوق إلا من الورقة البحثية نفسها ومن الأوزان المنشورة.

المشكلة: ذاكرة تنسى ما لا ينبغي نسيانه

يستبدل الانتباه الخطي بذاكرة KV-cache المتنامية في المحوّل مصفوفةً ثابتة الحجم. يسجّل النموذج فيها أزواج المفتاح والقيمة ويقرأ منها عند الطلب. تزداد كلفة الحساب خطيًا مع طول التسلسل، بينما تبقى الذاكرة المخصصة للحالة ثابتة. أما الثمن فهو التداخل: كل إدخال جديد يمسّ الإدخالات القديمة. وتعالج قاعدة delta في DeltaNet وGated DeltaNet جزءًا من هذه المشكلة، إذ تطرح أولًا من الذاكرة ما ارتبط بالمفتاح بالفعل ثم تسجّل القيمة الجديدة. لكن هذا التصحيح أيضًا يمسّ معلومات أكثر مما هو مرغوب.

يقدّم KronLSTM قاعدة Kronecker Delta Rule. تصحّح آلية مراجعة الذاكرة الارتباطات المستهدفة، وتغيّر المصفوفة على امتداد اتجاه واحد فقط في فضاء المصفوفات. ويقول المؤلفون إن هذا التدخل الأدنى تأثيرًا يخفّف التداخل مع المحفوظ سابقًا مقارنةً بقاعدة delta. وهذا مهم للسياق الطويل: فكلما زاد عدد الرموز التي مرّت، ارتفعت كلفة كل عملية إعادة كتابة زائدة.

الرياضيات: سلسلة ماركوف بدل التثبيت اليدوي

يركّز العمل بصورة خاصة على التحليل النظري. يمكن وصف ديناميكيات الذاكرة بأنها سلسلة ماركوف تتقارب نحو توزيع مستقر. وفي الوقت نفسه يبقى المعيار المتوقع لمصفوفة الذاكرة محدودًا بانتظام على امتداد تسلسل المدخلات كله.

عمليًا، يزيل هذا طبقة كاملة من الحلول الهندسية الترقيعية. ففي كثير من المعماريات التكرارية يجب إبقاء الحالة ضمن حدود معقولة باستخدام التطبيعات أو بوابات التخميد أو مثبّتات إضافية. ويؤكد المؤلفون أن KronLSTM لا يحتاج إلى آليات إضافية لتطبيع الحالة وتثبيتها. ويصفون القاعدة بأنها أساس شفاف تحليليًا لذاكرة ترابطية مستقرة في المعماريات الخطية التكرارية.

ما المعروف عن النموذج

• النوع: انتباه خطي، وامتداد لعائلة xLSTM
• الفكرة الأساسية: Kronecker Delta Rule، أي مراجعة الذاكرة على امتداد اتجاه واحد
• المقارنة: (Gated) DeltaNet ومعماريات انتباه خطي أخرى
• النتيجة بحسب ما يعلنه المؤلفون: أداء منافس، وغالبًا أفضل، خصوصًا في السياق الطويل
• ضمان الاستقرار: المعيار المتوقع لمصفوفة الذاكرة محدود بانتظام
• الترخيص والإتاحة: الشيفرة على GitHub (NX-AI/KronLSTM)، والنماذج في مجموعة NX-AI على Hugging Face

الخلاصة العملية

على الفرق التي تبني نماذج بسياق طويل وتحسب ذاكرة GPU المخصصة لـ KV-cache أن تضيف KronLSTM إلى قائمة المعماريات التي تقارنها مع Gated DeltaNet. الشيفرة والأوزان مفتوحة، ولذلك يمكن إجراء الاختبار على مهامها الخاصة: البحث في المستندات الطويلة، والاسترجاع الترابطي، والعمل مع مستودعات الشيفرة.

يستحق ثلاثة أمور المتابعة. الأول: كيف تتدهور الجودة عندما يتجاوز الطول ما تدرّب عليه النموذج. الثاني: سرعة التدريب والاستدلال على نوى حقيقية، فالخطية النظرية لا تضمن مكسبًا في الزمن. الثالث: السلوك في المخططات الهجينة التي تتناوب فيها الطبقات الخطية مع الانتباه المعتاد. وغياب التطبيع الإضافي يبسّط التنفيذ، لكن الحكم النهائي يتوقف على قياسات مستقلة. وحتى الآن هذا ادعاء قوي مدعوم بتأسيس نظري دقيق، وستتولى المجتمعية التقنية التحقق منه.