أطلقت MiniMax نظام MSA: الانتباه المتناثر يسرّع معالجة سياق من 1 مليون token بمقدار 28 مرة

نشرت شركة MiniMax بحثًا عن MSA (MiniMax Sparse Attention) — آلية انتباه متفرقة جديدة تتيح معالجة السياقات التي تصل إلى مليون رمز بسرعة أسرع بـ 28 مرة من Grouped Query Attention القياسي دون خسارة في الجودة على المقاييس المرجعية.

كيفية عمل MSA

يتم بناء MSA فوق Grouped Query Attention (GQA) ويستخدم معمارية ثنائية الفرع مع تفرق الكتل. تعمل آليات الانتباه التقليدية وفقًا لمبدأ "الكل مع الكل": كل رمز استعلام يصل إلى جميع المفاتيح والقيم في السياق. بالنسبة لسياق يحتوي على مليون رمز، يتطلب هذا عددًا فلكيًا من العمليات ويصبح غير قابل للتطبيق من الناحية الحسابية.

يقسم حل MiniMax العملية إلى مرحلتين مستقلتين. أولاً، تعمل فرع Index خفيفة — وحدة متخصصة تختار لكل استعلام ولكل مجموعة GQA أفضل k كتلة من المفاتيح والقيم الأكثر صلة. يتم هذا الاختيار بسرعة واقتصادية. بعد ذلك، تقوم فرع Main بإجراء انتباه دقيق وكامل، لكن فقط على الكتل المختارة — وليس على السياق بأكمله.

من المهم ملاحظة أن البنية المتفرقة للكتل في MSA متوافقة مع أنوية CUDA المحسنة الموجودة. لم تكن الفريق بحاجة إلى إنشاء تطبيقات GPU مخصصة: تعمل الآلية بكفاءة على الأجهزة القياسية.

مقياس التدريب والنتائج

تم تدريب MSA كجزء من نموذج MoE (Mixture of Experts) يحتوي على 109 مليارات معامل مع ميزانية رموز إجمالية قدرها 3 تريليونات رمز. وبهذا المقياس، يعتبر هذا من بين أكبر التجارب الموثقة علنًا على آليات الانتباه المتفرقة.

النتائج الرئيسية:

• تقليل الحمل الحسابي لكل رمز — 28.4 مرة لسياق يحتوي على 1 مليون رمز مقارنة بـ GQA كاملة
• الجودة على المقاييس المرجعية القياسية — مماثلة لـ GQA الأساسي، التدهور ضئيل
• التوافق المعماري: يُدمج MSA فوق GQA الموجودة دون إعادة صياغة باقي النموذج
• يعمل على أنوية CUDA القياسية دون تطبيقات مخصصة

"يحافظ MSA على دقة GQA مع تقليل التكاليف الحسابية للانتباه بمقدار 28 مرة لسياق يحتوي على مليون رمز،" — من التقرير التقني لـ

MiniMax.

لماذا يصعب توسيع السياق الطويل

معالجة التسلسلات الطويلة مشكلة طويلة الأمد في معماريات Transformer. تنمو الذاكرة لذاكرة التخزين المؤقت KV خطيًا مع طول السياق، بينما ينمو عدد عمليات الانتباه تربيعيًا. بالنسبة لسياق يحتوي على 1 مليون رمز، هذا يعني تريليونات من أزواج الاستعلام والمفتاح لكل طبقة نموذج.

تجعل معظم الحلول الموجودة مقابلة: فهي تختصر السياق أو تستخدم نافذة متحركة أو تنتقل إلى تقريبات الانتباه الخطية، فاقدة الدقة. تغير معماريات بديلة مثل Mamba بنية النموذج بشكل أساسي، مما يعقد نقل الأوزان والتوافق مع بنية Transformer.

يقدم MSA مسارًا مختلفًا: الحفاظ على فرع Main الدقيق (بدون تقريبات) وتفويض مهمة اختيار الكتل ذات الصلة إلى فرع Index خفيفة. هذا التقسيم في توزيع المهام هو بالضبط ما يوفر تسريع 28 مرة دون فقدان جودة ملحوظ.

ماذا يعني هذا

إذا تم تكرار النتائج في ظروف الإنتاج، يمكن أن يصبح MSA طريقة عملية لتحقيق سياقات طويلة اقتصادية — للعمل مع الوثائق الكبيرة وقواعد بيانات الأكواد والمدخلات متعددة الوسائط. كشفت MiniMax عن التفاصيل التقنية للطريقة، مما يسمح للفرق الأخرى بتكييف النهج مع نطاقاتها الخاصة.