Stratified Sparse Attention تُسرّع فك الترميز 2,96 مرة على سياق بطول 1M

اقترح فريق من الباحثين طريقة Stratified Sparse Attention (SSA) للوصول إلى جزء صغير فقط من KV-cache، مع خسارة في الجودة أقل بوضوح مما في المخططات المتناثرة السابقة. على RULER-HARD مع Ministral-3-8B وعند تناثر انتباه بمقدار 50 ضعفاً، ترفع SSA الدقة من 81,8% إلى 84,2% على سياق 32K، ومن 63,8% إلى 69,3% على 128K. وهذا يمثل 94% و85% من نتيجة الانتباه الكثيف (dense) الكامل. وعلى سياق بطول مليون رمز، تحقق نوى CUDA المحسّنة تسارعاً في فك الترميز يصل إلى 2,96 مرة مقارنةً بـ FlashInfer.

أين يفقد الانتباه المتناثر جودته

مع السياقات الطويلة، لا تكون الحوسبة هي عنق الزجاجة في الاستدلال (inference) بقدر ما تكون قراءة KV-cache المتنامية عند كل خطوة من خطوات فك الترميز. ويخفّض الانتباه المتناثر (sparse attention) هذه الكلفة بالاكتفاء بجزء من الذاكرة المؤقتة. وهنا يوجد مساران.

المسار الأول هو الاختيار الحتمي. تأخذ طريقتا top-k أو top-p الرموز ذات التقديرات الأعلى. يلتقط ذلك الأهم بموثوقية، لكن بقية الانتباه تُهمل ببساطة. وكل جزء منها صغير بمفرده، لكن مجموعها قد يكون مؤثراً. المسار الثاني هو أخذ العيّنات. يغطي هذا المسار ذيل التوزيع بصورة أفضل، لكنه يدفع ثمن ذلك تباينًا أعلى: فالنتيجة تتذبذب أكثر من تشغيل إلى آخر.

أما الحلول الهجينة فتدمج top-k مع أخذ عيّنات منتظم. ويبيّن المؤلفون أن الفجوة بينها وبين الانتباه الكثيف تبقى كبيرة عند التناثر الحاد. فأخذ العيّنات المنتظم أعمى: إذ ينفق الميزانية على رموز لا تكاد تؤثر في الإجابة.

كيف تقسّم SSA الذاكرة المؤقتة إلى طبقات

تبني SSA مخططاً موحداً من جزأين. تقرأ النماذج الرموز ذات التقديرات العالية بصورة حتمية. أما بقية الذاكرة المؤقتة فلا تُهمل ولا تُختار عشوائياً: إذ تُسحب منها عيّنات من الرموز باحتمالات تتناسب مع تقديرات تقريبية للانتباه. ولكي لا يشوّه إسهام الرموز المختارة الصورة العامة، تُدخل SSA تصحيحاً يراعي احتمال إدراج كل رمز في العيّنة. وبهذا تُستعاد كتلة الانتباه الواقعة خارج المجموعة المختارة.

الفكرة قريبة من العيّنة الطبقية الكلاسيكية: نغطي المنطقة المهمة بالكامل، ونقدّر الباقي من عيّنة جزئية بأوزان. ويؤكد المؤلفون أن SSA تعميم لما سبقها. فطرق top-k وtop-p والهجين بين top-k وأخذ العيّنات حالات خاصة منها، ولذلك يمكن النظر إلى الطريقة بوصفها إطاراً عاماً للعائلة كلها.

الأرقام والتسارع

جرى التقييم على أربعة اختبارات معيارية (benchmarks) هي RULER وLongBench وLOFT وAIME، وعلى خمسة نماذج تتراوح بين 3B و27B من المعاملات. وعند التناثر نفسه، تتفوق SSA باستمرار على الطرق الأساسية. وفيما يلي أهم المؤشرات:

• RULER-HARD، Ministral-3-8B، 32K: من 81,8% إلى 84,2% مقابل أقوى خط أساس عملي، أي 94% من الانتباه الكثيف؛
• RULER-HARD، Ministral-3-8B، 128K: من 63,8% إلى 69,3%، أي 85% من الانتباه الكثيف؛
• النمط: تناثر انتباه بمقدار 50 ضعفاً؛
• السرعة: حتى 2,96x في فك الترميز مقارنةً بـ FlashInfer على سياق 1M؛
• الشيفرة مفتوحة: github.com/skylight-org/SSA-Paper-Code.

وثمة جزء ثانٍ مهم في النتيجة. فالطريقة الأفضل دقةً تتطلب عادةً عمليات أكثر تعقيداً، وقد يتلاشى التسارع. هنا يبيّن المؤلفون، عبر نوى CUDA المحسّنة، أن المكسب في الجودة لا تلتهمه الكلفة الإضافية. كما أن تحسّن الدقة على 128K أوضح منه على 32K (5,5 نقطة مئوية مقابل 2,4 نقطة مئوية). أي أن الطريقة تفيد أكثر حيث يطول السياق ويزداد أثر التناثر إيلاماً.

ماذا يعني ذلك للممارسين

بالنسبة إلى الفرق التي تخدم سياقات طويلة، تمثل KV-cache بنداً مباشراً في تكاليف ذاكرة GPU والإنتاجية. وإذا كان خفض الوصول إلى الذاكرة المؤقتة بمقدار 50 ضعفاً يحفظ 85–94% من جودة الانتباه الكثيف في المهام الصعبة، فسيحصل المهندسون على رافعة إضافية للموازنة بين الكلفة والدقة. ويبدو ذلك مثيراً للاهتمام خصوصاً لسيناريوهات الوكلاء (agents) والعمل مع قواعد الشيفرة الكبيرة، حيث ينمو السياق بسرعة.

والقيود واضحة أيضاً. فجزء من الأرقام يخص نموذجاً واحداً هو Ministral-3-8B، ويبقى عند 128K تأخر ملحوظ عن النمط الكثيف: 85% نتيجة جيدة، لكنها ليست تكافؤاً. وقبل اعتماد الطريقة في الإنتاج، ستلزم تجربتها على المهام الخاصة بكل فريق، والتحقق من توافق النوى مع البيئة التقنية المستخدمة. وفي المقابل يخفض فتح الشيفرة العتبة: إذ يمكن إعادة إنتاج التجارب ومقارنة SSA بمخططات top-k الحالية دون انتظار تنفيذها في الأطر الشائعة.