ليوبومير غوربatko يقدّم Sessa: بديلاً عن المحوّلات وMamba

نُشر على Habr تحليل لبنية Sessa، وهي محاولة لإعادة التفكير في نماذج decoder-only واقتراح بديل عن الثنائي المألوف Transformer وMamba. لا يَعِد المؤلف باستبدال جاهز لقادة السوق، بل يعرض أمراً أكثر أساسية: يمكن وصف وحدات فك الترميز المختلفة عبر أساس مشترك، ثم مقارنتها بصدق من حيث كيفية تخزينها للمعلومات واسترجاعها من السياق الطويل.

يسير المقال من البسيط إلى المعقّد. يبدأ المؤلف بإعادة اشتقاق Transformer، لا بوصفه مجموعة من الكتل المألوفة، بل بوصفه تطويراً للالتفاف (convolution) العادي. والفكرة أن النافذة الثابتة والمعاملات الثابتة تصطدم سريعاً بالقيود: فمثل هذا الخالط لا يرى سوى السياق المحلي ولا يتكيّف جيداً مع المهمة. وإذا جُعلت الأوزان معتمدة على المُدخَل ثم طُبِّعت عبر softmax، ينشأ attention بصورة طبيعية. وبحسب هذا التفسير، تكمن قوة المحوّل في المقارنة المرنة بين الرمز الحالي والرموز السابقة، لكن الثمن معروف: ترتفع كلفة الحسابات مع زيادة طول التسلسل، وفي النمط المنتشر (diffuse) يضعف احتفاظ الانتباه بعنصر بعيد محدد.

ثم ينتقل المقال إلى S4D وMamba. هنا ينظر المؤلف إلى المشكلة بوصفها مسألة ذاكرة: فبدلاً من إعادة قراءة البادئة (prefix) كاملة في كل مرة، يستطيع النموذج تجميع الماضي في حالة داخلية. يزيل هذا النهج جزءاً من مشكلات attention ويجعل العمل مع التسلسلات الطويلة أقل كلفة. لكن له حدّه الخاص. ففي عرض المؤلف، تعمل Mamba جيداً حين تستطيع آلية selective state space «تجميد» الحالة في الوقت المناسب والإبقاء على الإشارة المطلوبة. وإذا لم يُتعرَّف على هذا النمط جيداً، خاصة في التسلسلات المشوَّشة أو الطويلة جداً، يبدأ تأثير الرموز القديمة بالتلاشي أُسّياً، ويصبح الاسترجاع الدقيق للمعلومة المطلوبة أقل موثوقية.

في هذا السياق تُقدَّم Sessa بوصفها نسخة هجينة. يقترح المؤلف الجمع بين فكرتين: الحفاظ على قدرة التكيّف الشبيهة بـ attention، وإضافة feedback في الوقت نفسه، أي تغذية راجعة قابلة للتحكم عبر الحالات السابقة. يظهر داخل الطبقة فرعان: forward الذي يجمع المعلومات من البادئة، وfeedback الذي يعيد استخدام الحالات المتراكمة أصلاً. والفكرة المحورية أن معاملات الفرعين كليهما تعتمد على الرمز الحالي وعلى طول التسلسل، ما يمنح النموذج آلية ذاكرة أكثر مرونة من Transformer الكلاسيكي، ووصولاً أكثر مباشرة إلى التاريخ مما لدى Mamba. وهي في جوهرها محاولة لدمج الانتباه داخل حلقة تكرارية (recurrent)، بدلاً من إبقاء هذين النهجين في معسكرين متقابلين.

لا يتركّز المقال على شعار «لقد تغلّبنا على المحوّلات»، بل على مقارنة أنماط الذاكرة. يدرس المؤلف سيناريو مُتحكَّماً فيه يصعب فيه على النماذج التركيز بدقة على رمز واحد مطلوب. في هذا النمط يتناقص تأثير الرموز البعيدة في Transformer تقريباً بما يتناسب مع مقلوب المسافة، وفي Mamba بصورة أُسّية، أما في Sessa فيتلاشى «الذيل» أبطأ، ما يتيح نظرياً استرجاعاً أكثر ثباتاً على المسافات الطويلة. وفي التهيئة متعددة الطبقات، يمكن لـ Sessa، بحسب ما يؤكده المؤلف، أن تحافظ على ملفات الاسترجاع (retrieval) دون تدهور مع المسافة.

إلى جانب منشور Habr، نُشرت ورقة على arXiv والشيفرة المصدرية، كما تتضمن الدراسة نفسها تجارب مماثلة على السياق الطويل. وفي الوقت ذاته يبيّن المؤلف صراحةً الحدّ الراهن للنتيجة: فهي حالياً في المقام الأول نظرية وفرضية معمارية، والخطوة المهمة التالية هي التدريب على نطاق عدة مليارات من المعاملات والتحقق خارج الأنماط المضبوطة بعناية.

باختصار، لا تكمن أهمية المادة في Sessa وحدها، بل في أسلوب الشرح أيضاً. فهو يختزل Transformer وMamba والبنية الجديدة إلى مخطط مشترك، ويوضح أين تحديداً تفترق خصائص الذاكرة لديها. وبالنسبة إلى المتابعين لسباق نماذج السياق الطويل، فهذه إشارة مهمة: فقد لا يأتي البديل البارز عن المحوّلات من التخلي الكامل عن attention، بل من الجمع بينه وبين ذاكرة تكرارية أكثر تعبيراً.