Parallax: انتباه خطي محلي محسَّن مع تصحيح التغاير

قدّم باحثون Parallax، وهو صيغة مُعلَمة (parameterized) من الانتباه الخطي المحلي (Local Linear Attention, LLA) تحتفظ بآلية softmax المألوفة وتضيف إليها فرعًا قابلًا للتدريب لتصحيح التغاير. وجاء ذلك في تقرير نشرته MarkTechPost في 31 مايو 2026، وبحسب ما ورد في المنشور، تستبدل الطريقة الجديدة بالحلّال المستخدم في LLA لكل استعلام مُسقِطًا قابلًا للتدريب، ما يضاعف الكثافة الحسابية ويحسّن ارتباك (perplexity) النماذج بحجم 0,6 و1,7 مليار معامل.

ما هو قيد الانتباه الخطي

تُعدّ آلية الانتباه الكلاسيكية (self-attention) في المحوّلات من أبرز مصادر التكلفة الحسابية في تدريب النماذج اللغوية والاستدلال بها، إذ يزداد تعقيدها تربيعيًا مع طول التسلسل المُدخَل. وقد اقتُرح الانتباه الخطي كوسيلة للالتفاف على هذا القيد عبر تقريب الحسابات من التعقيد الخطي، لكن ذلك يأتي عادةً على حساب بعض الجودة مقارنةً بانتباه softmax الكامل. ويُعدّ Local Linear Attention (LLA) أحد المقاربات في هذا الاتجاه، إذ يحلّ لكل استعلام مسألة تقريب محلية، وهو ما يخلق بدوره اختناقات خاصة به من حيث كفاءة استخدام العتاد الحاسوبي.

أبرز الحقائق عن Parallax:

• الطريقة مبنية على الانتباه الخطي المحلي (LLA).
• استُبدل الحلّال الخاص بكل استعلام بمُسقِط قابل للتدريب (learned projector).
• جرى الاحتفاظ بآلية الانتباه softmax، وأُضيف فرع لتصحيح التغاير.
• تتضاعف الكثافة الحسابية للعمليات مقارنةً بالنهج الأساسي.
• سُجّل تحسّن في الارتباك (perplexity) على نماذج بحجم 0,6 و1,7 مليار معامل.

ما الذي يغيّره المُسقِط القابل للتدريب

الفارق المعماري الجوهري في Parallax هو استبدال الحلّال، الذي كان يُعاد حسابه في صيغة LLA الأصلية لكل استعلام على حدة، بمُسقِط واحد قابل للتدريب. ويخفّف هذا الاستبدال العبء الحسابي الخاص بكل استعلام، وينقل جزءًا من «ذكاء» آلية الانتباه إلى معاملات تُدرَّب مسبقًا مع بقية النموذج. أما فرع تصحيح التغاير المضاف، فيبدو من اسم الطريقة أنه مخصّص لتعويض عدم دقة التقريب الخطي، بما يقرّب جودة عمل الآلية من انتباه softmax الكامل، مع الاحتفاظ بمكسب السرعة المميِّز لطرق الانتباه الخطي.

ماذا أظهرت التجارب

يشير المؤلفون إلى نتيجتين عمليتين. الأولى مضاعفة الكثافة الحسابية، وهي مقياس يبيّن مدى كفاءة استخدام العتاد الحاسوبي لكل بايت من البيانات المنقولة: فكلما ارتفعت الكثافة الحسابية، قلّ اعتماد الحسابات على عرض نطاق الذاكرة بدلًا من أداء نوى الحوسبة نفسها. والثانية أن الطريقة أظهرت تحسّنًا في الارتباك (perplexity) — وهو مقياس معياري لجودة النماذج اللغوية يعكس مدى جودة تنبؤ النموذج بالرمز (token) التالي — على نماذج صغيرة نسبيًا: 0,6 و1,7 مليار معامل. وتكمن أهمية هذه النتائج لمجتمع الباحثين العاملين على معماريات محوّلات فعّالة في أنها تدلّ على إمكانية تقريب آليات الانتباه الخطي من جودة الانتباه الكامل دون التخلي عن مكسب الكفاءة الحسابية.

لماذا يهمّ هذا الاتجاه البحثي

يُعدّ البحث عن بدائل للانتباه التربيعي الكلاسيكي من أنشط المجالات في أبحاث النماذج اللغوية الحديثة. فإلى جانب الانتباه الخطي، طُرحت في السنوات الأخيرة مقاربات معمارية أخرى لخفض تكلفة معالجة التسلسلات الطويلة، منها المعماريات التكرارية ومعماريات فضاء الحالة (state-space)، وصيغ متعددة من الانتباه المتناثر، والمخططات الهجينة التي تجمع عدة آليات في نموذج واحد. والدافع المشترك وراء هذه الاتجاهات واحد: فطول السياق الذي يتعيّن على النماذج معالجته — من الاستعلامات القصيرة إلى الكتب الكاملة ومستودعات الشيفرة والحوارات الممتدة لساعات — ينمو أسرع من انخفاض كلفة الحوسبة، ما يعني أن كفاءة كل آلية انتباه تحدد مباشرةً أي طول للسياق يمكن تحمّل معالجته ضمن ميزانية معينة للبنية التحتية.

وفي هذا السياق، لا يزال اختبار Parallax مقتصرًا على نماذج صغيرة نسبيًا — 0,6 و1,7 مليار معامل — وتبقى مسألة استمرار المزايا المعلنة عند التوسع إلى أحجام النماذج اللغوية الكبيرة الصناعية الحديثة سؤالًا مفتوحًا للأبحاث المقبلة.

ونادرًا ما تظهر القيمة العملية لمثل هذه التحسينات المعمارية فورًا: فالطريق من المنشور البحثي إلى تطبيق الطريقة في نماذج بالحجم الصناعي يستغرق عادةً أشهرًا أو سنوات، ويتطلب تحققًا مستقلًا على معماريات أكبر ومجموعات بيانات متنوعة. ومع ذلك، فإن فكرة الإبقاء على آلية softmax بدلًا من التخلي عنها كليًا من أجل التعقيد الخطي تميّز Parallax عن البدائل الأكثر جذرية للانتباه؛ فهو أقرب إلى تنقيح تطوري لنهج قائم منه إلى محاولة ابتكار معمارية جديدة كليًا من الصفر.