MASA تعيد النظر في الانتباه المتناثر في نماذج LLM بوصفه تقريبًا للمصفوفات

تقترح الورقة الأولية arXiv:2610.10871 منهج MASA (Matrix Approximation Sparse Attention). يصحّح المنهج طريقة اختيار العناصر في الانتباه المتناثر: فبدلًا من الترتيب بحسب كتلة الانتباه، يعتمد صيغة مغلقة تقدّر مقدار ما تخفضه كل وحدة sparse من خطأ تقريب حاصل ضرب المصفوفات. ويرتبط MASA بأطر sparse القائمة دون تغيير نواها (kernels) أو ميزانياتها. ويعلن المؤلفون عن مكسب مستقر في الدقة عبر عدة طرق ومعايير واختبارات وبنى أساسية (backbones) لنماذج LLM. ولا ترد أرقام محددة في الملخص.

ما المأخذ على الأساليب الحالية

تتزايد تكلفة الانتباه الكامل تربيعيًا مع طول الموجّه (prompt)، وهذا هو العائق الرئيسي أمام السياق الطويل. ويقلّص الانتباه المتناثر الحساب: إذ يحتفظ بنسبة صغيرة من تفاعلات query-key ويُسقط الباقي. والسؤال هو أي هذه التفاعلات ينبغي الإبقاء عليها.

يرى المؤلفون أن معظم الطرق تجيب عن هذا السؤال بتبسيط مفرط: تأخذ العناصر العددية الكبيرة أو المناطق ذات أكبر كتلة انتباه. وبذلك تُعامَل مصفوفة الانتباه كأنها كيس من الأرقام تُسحب منه الأثقل. لكنها في الواقع تُضرب في مصفوفة متجهات value، ونتيجة هذا الضرب هي ما يصل إلى الطبقة التالية. ولا يكفي وزن العنصر وحده لمعرفة مقدار الخطأ الذي سيظهر في المخرجات بعد حذفه. فهذا يتوقف على متجهات value المجاورة له، وعلى مدى اتساق العناصر بعضها مع بعض، وعلى ما يتبقى في الباقي.

ومن هنا تنطلق أطروحة العمل: ينبغي صياغة الانتباه المتناثر بوصفه مسألة تقريب مصفوفات، تُقاس فيها الجودة بالمخرجات لا بالأوزان المنفردة.

كيف يعمل MASA

يستبدل المنهج معيار الاختيار. فبدلًا من كتلة الانتباه الخام، تحصل كل وحدة sparse على درجة بصيغة مغلقة: بمقدار ما يخفضه الإبقاء عليها من خطأ تقريب حاصل الضرب «الانتباه في القيم». وتُشتق الدرجة نظريًا، ولا يرد في الوصف أي تحسين تكراري.

أهم خاصية عملية: MASA لا يحل محل الخوارزميات القائمة، بل يصحّح طريقة تسجيل الدرجات فيها. تبقى نوى sparse والميزانية المحددة بعدد العناصر المحفوظة كما هي، ويتغير فقط أي العناصر تدخل في هذه الميزانية. وتشمل التجارب عدة طرق sparse ومعايير وبنى LLM أساسية، وتحقق بحسب المؤلفين مكسبًا مستقرًا في الدقة.

أبرز المعطيات من الملخص:

• المصدر: arXiv cs.CL، 2610.10871v1، 9 أكتوبر 2026.
• الفكرة: الانتباه المتناثر بوصفه تقريبًا للمصفوفات، لا اختيارًا للقيم الكبيرة.
• المعيار: صيغة مغلقة لتقليل خطأ حاصل ضرب المصفوفات.
• التكامل: إضافة (plugin)، ولا تتغير النوى ولا الميزانيات.
• التحقق: عدة طرق sparse ومعايير وبنى LLM أساسية.
• غير مذكور في الملخص: حجم المكسب، وتكلفة حساب الدرجات، وأطوال السياق.

ما الذي ينبغي اختباره عمليًا

بالنسبة إلى الفرق التي تبني استدلالًا (inference) للسياق الطويل، تكمن أهمية العمل في أنه لا يتطلب إعادة كتابة النوى. وإذا تأكدت فعالية المنهج، فسيمكن اختباره فوق مخطط التخلخل المستخدم أصلًا وبالميزانية نفسها.

قبل الاعتماد عليه، ينبغي توضيح ثلاثة أمور. الأول: كم تكلّف عملية حساب الدرجة نفسها، وهل تلتهم جزءًا من مكسب التخلخل. الثاني: إلى أي مدى يظهر المكسب في الدقة على مهامكم، مثل البحث في السياق الطويل والبرمجة، وليس فقط على المعايير العامة. الثالث: كيف يتصرف المنهج عند تخلخل شديد العدوانية، حيث ينمو خطأ الاختيار أسرع ما يكون.

هذه ورقة أولية لم تخضع للمراجعة، ولذلك فإن الأدلة المتاحة حاليًا مقتصرة على ما عرضه المؤلفون بأنفسهم. ولا يمكن حاليًا تحويل عبارة «مكسب مستقر» غير المدعومة بجداول إلى أثر متوقع لنموذج بعينه. والأجدر انتظار الشيفرة وإعادات إنتاج النتائج المستقلة. أما صياغة المسألة نفسها، حيث يجري تحسين مخرجات الانتباه لا أوزان العناصر المنفردة، فتبدو أساسًا منطقيًا لخوارزميات sparse القادمة.