MiniMax تطلق MSA: الانتباه المتناثر يسرّع معالجة السياق البالغ مليون رمز 28 مرة

نشرت MiniMax دراسة حول MSA (MiniMax Sparse Attention)، وهي آلية انتباه متناثر جديدة تتيح معالجة سياقات بطول مليون رمز أسرع 28 مرة من Grouped Query Attention القياسي، دون خسارة في الجودة على اختبارات الأداء المعيارية.

كيف تعمل MSA

تُبنى MSA فوق Grouped Query Attention (GQA)، وتعتمد بنية ثنائية الفروع متناثرة على مستوى الكتل. تعمل آلية الانتباه التقليدية بمبدأ «الكل مع الكل»: إذ يتعامل كل رمز استعلام مع جميع المفاتيح والقيم في السياق. وعند سياق بطول مليون رمز، يتطلب ذلك عددًا هائلًا من العمليات الحسابية، ويصبح تنفيذه مستحيلًا من الناحية الحسابية.

يقسّم حل MiniMax العملية إلى مرحلتين مستقلتين. تبدأ المرحلة الأولى بفرع Index Branch الخفيف، وهو وحدة متخصصة تختار لكل استعلام ولكل مجموعة GQA أكثر Top-k كتلة صلة من المفاتيح والقيم. ويجري هذا الانتقاء بسرعة وبكلفة منخفضة. بعد ذلك ينفّذ الفرع الرئيسي Main Branch انتباهًا كاملًا ودقيقًا، لكن على الكتل المختارة فقط، لا على السياق بأكمله.

ومن المهم أن البنية المتناثرة على مستوى الكتل في MSA متوافقة مع نوى CUDA المحسّنة الحالية. ولم يحتج الفريق إلى بناء تنفيذات مخصصة لوحدات GPU: فالآلية تعمل بكفاءة على العتاد القياسي.

حجم التدريب والنتائج

دُرّبت MSA ضمن نموذج MoE (Mixture of Experts) بحجم 109 مليارات معلمة، وبميزانية رموز إجمالية بلغت 3 تريليونات رمز. ومن حيث الحجم، تُعد هذه إحدى أكبر التجارب الموثقة علنًا على آليات الانتباه المتناثر.

أبرز النتائج:

• انخفاض العبء الحسابي لكل رمز بمقدار 28,4 مرة عند سياق بطول 1 مليون رمز مقارنة بـ GQA الكامل
• جودة على اختبارات downstream المعيارية مماثلة لـ GQA الأساسي، مع تراجع طفيف لا يُذكر
• توافق معماري: تُدمج MSA فوق GQA الحالي دون إعادة تصميم بقية النموذج
• تعمل على نوى CUDA القياسية دون تنفيذات مخصصة

«تحافظ MSA على دقة GQA، وتخفض في الوقت نفسه التكاليف الحسابية للانتباه 28 مرة عند سياق بطول مليون رمز»، بحسب التقرير التقني لـ

MiniMax.

لماذا يصعب توسيع السياق الطويل؟

تُعد معالجة التسلسلات الطويلة مشكلة قديمة في معماريات المحوّلات (Transformers). فحجم الذاكرة اللازمة لـ KV-cache ينمو خطيًا مع طول السياق، بينما يزداد عدد عمليات الانتباه تربيعيًا. وعند سياق بطول 1 مليون رمز، يعني ذلك تريليونات أزواج «الاستعلام–المفتاح» في كل طبقة من طبقات النموذج.

تلجأ معظم الحلول الحالية إلى تسويات: فتقتطع السياق، أو تستخدم النافذة المنزلقة (sliding window)، أو تنتقل إلى تقريبات خطية للانتباه على حساب الدقة. أما المعماريات البديلة مثل Mamba فتغيّر بنية النموذج جذريًا، ما يعقّد نقل الأوزان المدرَّبة مسبقًا ويعيق التوافق مع البنية التحتية الخاصة بالمحوّلات.

تقترح MSA مسارًا مختلفًا: إبقاء الفرع الرئيسي Main Branch دقيقًا (دون تقريبات)، وإسناد مهمة انتقاء الكتل ذات الصلة إلى فرع Index Branch الخفيف. وهذا التقسيم للمهام هو ما يحقق تسارعًا بمقدار 28 مرة دون خسارة ملحوظة في الجودة.

ماذا يعني ذلك

إذا أمكن تكرار هذه النتائج في ظروف الإنتاج، فقد تصبح MSA طريقًا عمليًا إلى سياقات طويلة منخفضة الكلفة، لاستخدامها مع المستندات الكبيرة وقواعد الشيفرة والمدخلات متعددة الوسائط. وقد كشفت MiniMax التفاصيل التقنية للطريقة، ما يتيح لفرق أخرى تكييف النهج بما يناسب أحجامها الخاصة.