First Passage Attention يستبدل مجموع التخامد بالقيمة القصوى: passkey على طول يبلغ 8×

تعمل بوابات النسيان (forget gates) في آليات الانتباه في الغالب كحصّالة غرامات: كلما ابتعد المفتاح عن الاستعلام وزاد عدد الرموز بينهما، انخفض لوغيته أكثر. هذا التراكم رتيب (monotonic)، ولذلك لا يستطيع النموذج محو مقطع من الوسط مع الاحتفاظ بالرموز القديمة المهمة بنيويًا. وتقترح ورقة First Passage Attention (FPA) رياضيات مختلفة: فبدل مجموع قيم التخامد على امتداد المسار، تؤخذ القيمة القصوى. وعلى نموذج من 110M معامل، يحقق ذلك استرجاع passkey مثاليًا على طول يبلغ 8 أضعاف طول التدريب، وحتى مع KV-cache مضغوط إلى نحو 25%. أما مستوى الحيرة (perplexity) فيبقى على مستوى Forgetting Transformer (FoX).

كيف تعمل الآلية

يضم FPA حقلًا قياسيًا قابلًا للتعلّم ومستويات مرتبطة بالمفاتيح. ينخفض لوغيت المفتاح بما يتناسب مع أعمق هبوط للحقل تحت مستوى هذا المفتاح في المقطع الواقع بين المفتاح والاستعلام. ويشير الاسم إلى نظرية السير العشوائي، حيث تعني «المرور الأول» اللحظة التي يعبر فيها المسار حدًّا معينًا للمرة الأولى.

وتتعلق النتيجة الرئيسية بترتيب الأحداث. إذا هبط الحقل بعمق بعد المفتاح، يُعاقَب المفتاح. وإذا كان الهبوط ضحلًا، أو كان المفتاح أدنى منه، يبقى المفتاح سليمًا. المجموع لا يستطيع التمييز بين هذه الحالات، أما القيمة القصوى فتستطيع. ويصف المؤلفون FoX بأنه حالة خاصة من FPA، أي أن المخطط الجديد أوسع نطاقًا بصرامة من سابقه.

إذا اتبع الحقل والمستويات سيرًا عشوائيًا واحدًا قابلًا للتعلّم، تشكّل المفاتيح «الحيّة» ذات اللوغيتات غير المعاقَبة مكدّسًا (stack). فالهبوط الجديد يزيح كل ما يقع فوقه، بينما يبقى ما هو أعمق منه متاحًا. وهذا يشبه بنية الأقواس أو نطاقات الرؤية المتداخلة: تُغلق الكتلة فتُنسى محتوياتها، لكن السياق الخارجي يبقى سليمًا.

ماذا أظهرت التجارب

صيغت النتيجة النظرية بدلالة بُعد الرأس. يستطيع رأس FPA ثابت الأبعاد تنفيذ أي مجموعة جزئية من المفاتيح التي بقيت حيّة بعد هبوطات متتالية. أما رؤوس softmax ذات الانحيازات الموضعية، وFoX ذو البوابات على مستوى الرمز، فيحتاجان لتحقيق ذلك إلى بُعد يتناسب خطيًا مع عدد المفاتيح. وهذا مكسب في القدرة التعبيرية عند ميزانية معاملات ثابتة.

في المهام الاصطناعية، تتقارب رؤوس FPA أحادية الطبقة إلى مجموعات المفاتيح المستهدفة. أما خطوط الأساس المماثلة من softmax وFoX فلم تنجح على أي بذرة عشوائية (seed). بعد ذلك وسّع المؤلفون نطاق الطريقة إلى نموذج لغوي:

• حجم النموذج: 110M معامل؛
• مستوى الحيرة: على مستوى FoX، دون تراجع قياسًا بأقرب نظير؛
• استرجاع passkey: نتيجة مثالية على طول يبلغ 8 أضعاف طول التدريب، وهي الوحيدة بين الطرق المقارَنة؛
• KV-cache: ضغط إلى نحو 25% دون فقدان هذه النتيجة؛
• المهام الاصطناعية: يتقارب FPA إلى المجموعات المستهدفة على رؤوس أحادية الطبقة، بينما تفشل خطوط الأساس على كل بذرة عشوائية (seed).

الخلاصات العملية

يستهدف الجمع بين استقراء الطول (length extrapolation) والكاش المضغوط البند الأكبر في تكلفة السياق الطويل، وهو الذاكرة المخصصة لـKV. فإذا كان مكدّس المفاتيح الحيّة يتيح التخلص الآمن من بقية الرموز، أمكن تقليص الكاش بقاعدة تعلّمها النموذج بنفسه، لا بأسلوب استدلالي مثل «نحتفظ بآخر N رمزًا». وتبدو هذه البنية طبيعية في استدلال (inference) الوكلاء ذوي الجلسات الطويلة والمهام المتداخلة.

يلزم الحذر في ثلاث نقاط. أولًا، 110M معامل بعيدة عن مقياس الإنتاج، ولم يُختبر السلوك على نماذج بمليارات المعاملات. ثانيًا، يظل اختبار استرجاع passkey بسيطًا: فهو يُظهر القدرة على العثور على إبرة واحدة، لكنه لا يقيس جودة الاستدلال على وثيقة طويلة. ثالثًا، لا يتضح من الملخص (abstract) كيف يتوافق FPA مع نوى الانتباه المحسّنة، ولا كلفته على سرعة التدريب.

أما الفريق الذي يعمل على معماريات تعتمد النسيان، فيستحق منه الأمر قراءة الورقة كاملة وإعادة إنتاج النتائج على خط الأساس الخاص به. والاختبار الأول بسيط: مقارنة FPA مع FoX في مهام ذات بنية متداخلة وعلى أطوال تفوق طول التدريب بعدة أضعاف. وإذا تأكدت النتيجة على نماذج بمليارات المعاملات، فقد تصبح القيم القصوى بدل المجاميع جزءًا معتادًا من تصميم بوابات النسيان.