LISA: الانتباه المتناثر يسرّع الاستدلال الطويل في نماذج LLM بنسبة 50% دون إعادة تدريب

قدّم باحثون LISA (Linear-Indexed Sparse Attention)، وهي وحدة بديلة لآلية الانتباه. وقد حققت في يوليو 2026 تسريعًا للاستدلال بنسبة 50% عند سياق طوله 16 ألف توكن، وارتفاعًا في جودة الاستدلال بنسبة 5,6%، دون الحاجة إلى تدريب النموذج من الصفر. نُشر البحث على arXiv (2607.19358).

كيف تعمل LISA

تُدمج LISA في النموذج الحالي كبديل جاهز (plug-and-play) لآلية self-attention القياسية، وتجمع بين فرعين متوازيين. الأول هو Linear Attention بتعقيد O(n)، وهو مسؤول عن «الذاكرة بعيدة المدى» والتبعيات بين المواضع المتباعدة. أما الثاني فهو آلية Lightning Indexer، التي تختار أهم M توكنًا (top-M) من السياق كاملًا وتمررها إلى Sparse Self-Attention. ويُدمج الفرعان عبر آلية بوابات (gating).

• الاسم: LISA (Linear-Indexed Sparse Attention)، وهي ورقة بحثية أولية على arXiv برقم 2607.19358
• ينخفض تعقيد الاستدلال من O(n²) إلى O(nM)، حيث M أصغر بكثير من n
• مكوّنان: Linear Attention (ذاكرة O(n)) + Lightning Indexer + Sparse Self-Attention
• لا تتطلب تدريبًا مسبقًا من الصفر، إذ تُدمج الوحدة في نموذج جاهز
• أُجريت الاختبارات على نماذج DeepSeek-distilled-Qwen

لماذا يهم هذا الاستدلال (inference)

يتسم self-attention القياسي بتعقيد تربيعي O(n²)، ولذلك ترتفع تكلفة الاستدلال بحدة مع زيادة طول التسلسلات. وقد أصبح هذا عنق زجاجة للنماذج ذات سلاسل الاستدلال الطويلة (long chain-of-thought) مثل DeepSeek-R1: فنموذج test-time scaling يدفعها إلى توليد سياق استدلال أطول فأطول، وترتفع معه التكاليف. وبحسب تقدير المؤلفين، هذا بالضبط ما يحدّ من تشغيل نماذج long-CoT في بيئات الإنتاج.

تعالج LISA المشكلة على مستوى البنية المعمارية، لا عبر عتاد أقوى. فمن خلال استبدال جزء من الانتباه الكامل بانتباه متناثر وآخر خطي، تنقل الطريقة توليد n توكن من نمط O(n²) إلى نمط O(nM)، علمًا بأن M (عدد التوكنات المختارة) أصغر بوضوح من طول السياق n.

ماذا أظهرت الاختبارات

على نماذج عائلة DeepSeek-distilled-Qwen، حققت LISA تسريعًا للاستدلال بنسبة 50% عند سياق 16K توكن، ورفعت في الوقت نفسه متوسط النتائج على اختبارات الاستدلال (reasoning) بنسبة 5,6%، ومنها AIME وMATH-500. أي أن الطريقة لا تكتفي بالتسريع، بل لا تتراجع أيضًا في الجودة.

يقوم التدريب على مرحلتين. في الأولى يُدمج الانتباه الخطي في النموذج لمعالجة التبعيات بعيدة المدى، ويُستكمل بآلية النافذة المنزلقة (sliding-window)؛ ويُحسَّن بتقطير المعرفة (knowledge distillation) لمحاكاة توزيع self-attention الكامل في النموذج المعلّم «المجمّد». وفي المرحلة الثانية تحل مكان النافذة المنزلقة الثابتة وحدة Indexer، وتُدرَّب عبر دالة خسارة جديدة هي تباعد KL لكل رأس انتباه (per-head KL-divergence)، التي تواءم اختيارها للتوكنات مع أنماط الانتباه لدى المعلّم.

«توفر LISA تسريعًا للاستدلال بنسبة 50% عند سياق 16K توكن، مع تحسين

المتوسط بنسبة 5,6% على اختبارات الاستدلال، ومنها AIME وMATH-500»، كما ورد في ملخص الدراسة على arXiv.

ماذا يعني هذا

تكلّف الاستدلالات الطويلة مبالغ كبيرة بسبب الانتباه التربيعي تحديدًا، وتُظهر LISA طريقًا لخفض هذه التكلفة دون إعادة تدريب النموذج من الصفر، إذ يكفي دمج الوحدة في شبكة جاهزة. وبالنسبة إلى الفرق التي تنشر نماذج reasoning في بيئات الإنتاج، هذه وسيلة مباشرة لتقليص تكاليف inference دون التضحية بالدقة.

أسئلة شائعة

ما هي LISA؟

LISA (Linear-Indexed Sparse Attention) وحدة بديلة لآلية الانتباه في النماذج اللغوية. تجمع بين الانتباه الخطي والانتباه المتناثر مع اختيار التوكنات المهمة، وتخفض تعقيد الاستدلال من O(n²) إلى O(nM).

هل يلزم إعادة تدريب النموذج لاستخدام LISA؟

لا، فالتدريب من الصفر غير مطلوب. LISA بديل جاهز (plug-and-play) لـ self-attention؛ تُدمج في نموذج جاهز وتُضبط على مرحلتين عبر تقطير المعرفة من نموذج معلّم.

ما مقدار تسريع LISA للاستدلال؟

بحسب ملخص الدراسة، تحقق الطريقة على نماذج DeepSeek-distilled-Qwen تسريعًا للاستدلال بنسبة 50% عند سياق 16K توكن، وترفع في الوقت نفسه متوسط جودة الاستدلال بنسبة 5,6% على اختبارات AIME وMATH-500.