Parallax: تحسين الانتباه الخطي المحلي مع تصحيح التباين المشترك

قدم الباحثون Parallax — وهو متغير معاملة من Local Linear Attention (LLA)، يحتفظ بآلية softmax المألوفة ويضيف فرع تصحيح التباين القابل للتعلم. في 31 مايو 2026، أبلغت نشرة MarkTechPost عن ذلك: وفقاً للنشرة، تستبدل الطريقة الجديدة حل كل استعلام المستخدم في LLA بمصفوفة تصويب قابلة للتعلم، مما يضاعف الكثافة الحسابية للحسابات ويحسن التخبط للنماذج بحجم 0.6 و1.7 مليار معامل.

ما هو قيد الانتباه الخطي

آلية الانتباه الكلاسيكية (الانتباه الذاتي) في المحولات هي أحد المصادر الرئيسية للتكاليف الحاسوبية في تدريب واستدلال نماذج اللغة: تنمو تعقيدها تربيعياً مع طول سلسلة الإدخال. تم اقتراح الانتباه الخطي كطريقة للتغلب على هذا القيد، مما يقرب الحسابات من التعقيد الخطي، لكن عادة بثمن فقدان بعض الجودة مقارنة بآلية الانتباه softmax الكاملة. Local Linear Attention (LLA) هي أحد النهج في هذا الاتجاه، والذي لكل استعلام يحل مهمة التقريب المحلي، لكن هذا يخلق نقاط اختناق كفاءة حسابية خاصة به.

حقائق رئيسية حول Parallax:

• تُبنى الطريقة على أساس الانتباه الخطي المحلي (LLA).
• يتم استبدال حل كل استعلام بمصفوفة تصويب قابلة للتعلم.
• يتم الاحتفاظ بآلية الانتباه softmax، وتضاف فرع تصحيح التباين.
• تضاعف الكثافة الحسابية للحسابات مقارنة بالطريقة الأساسية.
• يتم تسجيل تحسن التخبط في النماذج التي تحتوي على 0.6 و1.7 مليار معامل.

ما تغيره مصفوفة التصويب القابلة للتعلم

الفرق المعماري الرئيسي لـ Parallax هو استبدال الحل، الذي تم إعادة حسابه بشكل منفصل لكل استعلام في متغير LLA الأصلي، بمصفوفة تصويب واحدة قابلة للتعلم. يقلل هذا الاستبدال من الحمل الحاسوبي المحدد لكل استعلام فردي وينقل جزءاً من "ذكاء" آلية الانتباه إلى معاملات يتم تعلمها مسبقاً مع بقية النموذج. فرع تصحيح التباين المضاف، للحكم من خلال اسم الطريقة، مصمم لتعويض عدم الدقة في التقريب الخطي، مما يقرب جودة الآلية من انتباه softmax الكامل مع الحفاظ على ميزة السرعة المميزة لطرق الانتباه الخطي.

ما أظهرته التجارب

يلاحظ المؤلفون نتيجتين عمليتين. أولاً، مضاعفة الكثافة الحسابية — مقياس يوضح مدى كفاءة استخدام معدات الحوسبة لكل بايت من البيانات المنقولة: كلما زادت الكثافة الحسابية، قل تقيد الحسابات بعرض النطاق الترددي للذاكرة بدلاً من أداء نوى الحوسبة نفسها. ثانياً، أظهرت الطريقة تحسن التخبط — مقياس الجودة القياسي لنماذج اللغة يعكس مدى جودة توقع النموذج للرمز التالي — في نماذج بحجم صغير نسبياً: 0.6 و1.7 مليار معامل. بالنسبة لمجتمع البحث الذي يعمل على معماريات محول فعالة، تكون مثل هذه النتائج مثيرة للاهتمام بشكل أساسي كدليل على أن آليات الانتباه الخطي يمكن أن تقترب من جودة الانتباه الكامل دون التضحية بالمكاسب في الكفاءة الحاسوبية.

لماذا هذا الاتجاه البحثي مهم

البحث عن بدائل للانتباه التربيعي الكلاسيكي هو أحد أكثر المجالات نشاطاً في البحث الحالي في نماذج اللغة: في السنوات الأخيرة، بالإضافة إلى الانتباه الخطي، تم اقتراح نهج معمارية أخرى لتقليل التكاليف الحاسوبية لمعالجة السلاسل الطويلة — معماريات متكررة ومساحة الدولة، متغيرات مختلفة من الانتباه المتناثر وأنظمة هجينة تجمع بين عدة آليات في نموذج واحد. الدافع المشترك لجميع هذه الاتجاهات هو نفسه: طول السياق الذي يجب على النماذج معالجته — من الاستعلامات القصيرة إلى الكتب الكاملة ومستودعات الأكواد والحوارات لعدة ساعات — ينمو بشكل أسرع من رخص الحوسبة، مما يعني أن كفاءة كل آلية انتباه تحدد مباشرة مدى طول السياق الذي يمكن السماح به بموازنة البنية التحتية المحددة. على خلفية هذا، يقتصر اختبار Parallax حتى الآن على نماذج صغيرة نسبياً — 0.

6 و1.7 مليار معامل — وما إذا كانت المزايا المطالب بها ستُحفظ عند التوسع إلى حجم LLMs الصناعية الحديثة تبقى مسألة للأبحاث المستقبلية.

القيمة العملية لمثل هذه التحسينات المعمارية نادراً ما تظهر فوراً: الطريق من نشر بحثي إلى تطبيق الطريقة في نماذج بحجم صناعي عادة ما يستغرق أشهراً أو سنوات ويتطلب تحقق مستقل على معماريات أكبر ومجموعات بيانات متنوعة. مع ذلك، فإن مجرد فكرة الاحتفاظ بآلية softmax، بدلاً من التخلي عنها تماماً من أجل التعقيد الخطي، تميز Parallax عن بدائل الانتباه الأكثر جذرية — إنها بالأحرى تحسين تطوري لنهج قائم بدلاً من محاولة لاختراع معمارية جديدة تماماً من الصفر.