MemT-1.0 يدمج الذاكرة في النموذج نفسه: تخزين أصغر بـ 66 مرة عند سياق 128K

يقترح مؤلفو MemT-1.0 التوقف عن إسناد النموذج اللغوي بمخازن خارجية، وجعل الذاكرة جزءًا من حسابات الشبكة نفسها. عند تاريخ بطول 128K رمز، يحقق النموذج الأصغر في العائلة، MemT-1.0-Nano، تسريعًا في الاستدلال الشامل (end-to-end) بنحو 1,86 مرة، ويقلّص التخزين الدائم 66 مرة مقارنة بذاكرة KV-cache الكاملة. أُصدر في المجمل نموذجان هما Nano وFlash، واعتمد التدريب على 34B رمز من البيانات.

الذاكرة جزءًا من الحسابات

تعالج معظم الأنظمة الحديثة مشكلة السياق الطويل بطريقتين. الأولى حمل KV-cache كاملة تنمو مع نمو التاريخ. والثانية استخدام retrieval، أي البحث عن المقاطع المطلوبة في قاعدة خارجية وإضافتها إلى الـ prompt. ولكل من الطريقتين كلفتها: الذاكرة أو زمن الاستجابة في الأولى، والتعقيد المعماري والاعتماد على جودة البحث في الثانية.

يسلك MemT-1.0 طريقًا ثالثًا يسميه المؤلفون memory-native evolution: يجب أن تكون الذاكرة قدرة مدمجة في foundation-model، تتيح تراكم المعلومات باستمرار واستخدامها. تُبنى المعمارية على Metis وتستخدم Gated DeltaNet-2، وهي آلية تحدّث الذاكرة بثبات على مستوى الرموز داخل كل دور في الحوار. ولتوسيع السعة أُضيف Mixture-of-Storage، أي أن الذاكرة الأصلية (native) تنمو من دون تضخيم السياق.

كيف جرى التدريب

قبل التدريب الأساسي، أجرى الفريق إعدادًا منفصلًا للـ backbone. ثم جاء مسار من مرحلتين: continued pre-training وpost-training. بلغ الحجم الإجمالي للبيانات 34B رمز، وهو رقم متواضع لهذه الفئة من الأعمال، ويدل على أن النموذج أُكمل تدريبه على أساس جاهز ولم يُدرَّب من الصفر. ويذكر المؤلفون كذلك بنية تحتية متخصصة للتدريب والاستدلال بكفاءة، لكن تفاصيلها لم تُكشف في الملخص.

ماذا أظهرت القياسات

شمل التقييم قدرات الذاكرة والمهارات العامة للنموذج. أبرز النتائج الواردة في وصف العمل:

• يتفوق MemT-1.0 في المتوسط على خطوط الأساس ذات الذاكرة البارامترية؛
• يبقى منافسًا مقارنة بالأساليب القائمة على retrieval-augmented generation؛
• يحافظ في معظمه على القدرات العامة، أي أن التدريب الإضافي لأجل الذاكرة لم يُتلف المهارات الأساسية؛
• يسرّع MemT-1.0-Nano الاستدلال الشامل بنحو 1,86 مرة عند تاريخ بطول 128K رمز، مقارنة بالسياق الكامل مع KV-cache؛
• يتقلص التخزين الدائم 66 مرة؛
• ترتفع نسبة التشغيلات الناجحة في المهام الوكيلية (agentic) لأن النموذج يستوعب الخبرة الإجرائية المستخلصة.

تعبير «منافس لـ RAG» يعكس الواقع بصدق: فالمؤلفون لا يدّعون التفوق على البحث. وهذا مهم لأن retrieval يظل الأداة الأساسية في بيئات الإنتاج. أما الأرقام الخاصة بكل benchmark وبأحجام النماذج فلا ترد في الملخص، ولذلك لا يمكن تقدير حجم الفارق عن خطوط الأساس إلا من النص الكامل للورقة.

أين قد يفيد ذلك

أوضح السيناريوهات هو الوكلاء الذين يعملون لفترات طويلة ويجب أن يتذكروا ما جرّبوه وما نجح. فإذا كانت الخبرة الإجرائية مدمجة في حالة النموذج، فلا حاجة إلى استخراجها من قاعدة البيانات في كل مرة وإنفاق رموز السياق على ذلك. وبالنسبة إلى مطوري المساعدات ووكلاء البرمجة، يعني توفير التخزين بمقدار 66 مرة أن التاريخ الشخصي للمستخدم يمكن حفظه بشكل أكثر إحكامًا وأقل كلفة، وأن مكسب السرعة في الحوارات الطويلة يزداد مع طول السياق.

والحذر مطلوب أيضًا. فقد جاءت النتائج من نموذجين صغيرين، وصيغ الادعاء بشأن الحفاظ على القدرات العامة بعبارة «في معظمه». وقبل استبدال مسار retrieval، يحسن انتظار اختبارات مستقلة، ومراقبة السلوك عند وجود سجلات خاطئة أو قديمة في الذاكرة، وتقييم مدى توافق الذاكرة الأصلية مع متطلبات التدقيق وحذف البيانات. لكن الاتجاه واضح: الذاكرة لم تعد إضافة فوق النظام، بل أصبحت خاصية في المعمارية.