STILL من HIT شنتشن: انتباه هجين داخل الطبقة يختار الرموز بحسب محتواها
قدّم باحثون من معهد هاربين للتقنية (شنتشن) معمارية STILL في مؤتمر NeurIPS 2026. وبحسب المؤلفين، هي أول انتباه هجين داخل الطبقة يراعي محتوى الرموز (tokens) لا موضعها فقط. المؤلف الأول للدراسة هو طالب الدراسات العليا مِنغ وي كانغ، والمشرف العلمي هو البروفيسور تشانغ تشنغ. ويستهدف النهج المشكلة الرئيسية للسياق الطويل: التكلفة التربيعية لانتباه softmax. • تمزج STILL بين انتباه softmax والانتباه الخطي داخل طبقة واحدة. • يعتمد توزيع الحساب على محتوى الرمز، لا على موضعه. • لا تتضمن الشذرة المتاحة من المادة نتائج اختبارات أداء (benchmarks) كاملة.
معالج بواسطة الذكاء الاصطناعي من Jiqizhixin (机器之心)؛ بتحرير Hamidun News
لا يزال التعقيد التربيعي لانتباه softmax القيد الرئيسي أمام النماذج ذات السياق الطويل: فالتكلفة تنمو بمعدل O(n²) مع طول التسلسل. ويقترح فريق من معهد هاربين للتقنية (حرم شنتشن) في NeurIPS 2026 معمارية STILL، ويصفها بأنها أول انتباه هجين داخل الطبقة يراعي المحتوى. المؤلف الأول هو طالب الدراسات العليا مِنغ وي كانغ، وهو يعمل على المعماريات الفعّالة والانتباه الخطي والهجين. أما المؤلف المراسل فهو البروفيسور تشانغ تشنغ. وقد نقل خبر الدراسة موقع Jiqizhixin.
لدينا فقط المقطع التمهيدي من المادة، ولا تتضمن مقاييس محددة للجودة أو السرعة. لذلك نتناول أدناه الفكرة لا النتائج.
لماذا توصف بعض الهجائن بأنها «هجينة زائفة»
الانتباه الخطي رخيص: فتكلفته تنمو خطيًا مع طول السياق. لكنه يضغط التاريخ في حالة ثابتة الحجم، ويؤدي أسوأ في الاسترجاع الدقيق للتفاصيل. ولذلك تجمع الصناعة بين الآليتين. والمخطط الأكثر شيوعًا هو الهجين بين الطبقات: معظم الطبقات خطية، ويوضع انتباه softmax الكامل كل عدة طبقات. وعلى هذا المبدأ بُنيت نماذج مثل Jamba وMiniMax-01 وQwen3-Next.
أما الهجائن داخل الطبقة فتقسّم العمل داخل طبقة واحدة. والصيغة النموذجية: انتباه دقيق في نافذة محلية حول الرمز الحالي، بينما تعالج الآلية الخطية كل ما عدا ذلك. ويرى مؤلفو STILL، بحسب العنوان، أن هذا المخطط «هجين زائف» قائم على الموضع: فالقرار بشأن الرموز التي تستحق المعالجة الدقيقة يُتخذ بحسب المسافة، لا بحسب ما هو مكتوب في الرموز. وهكذا يقع رقم مهم أو اسم في بداية وثيقة طويلة في الفرع «الرخيص» على قدم المساواة مع الضوضاء.
ماذا تقترح STILL
الادعاء الأساسي: يتحدد التوزيع بين الانتباه الدقيق والانتباه الخطي داخل الطبقة بحسب المحتوى. أما كيف تعمل آلية الاختيار تحديدًا، فلم تُكشف في الشذرة المتاحة. وقد تكون موجِّهًا (router) قابلًا للتدريب، أو تقييمًا لأهمية الرموز، أو مخططًا آخر. وستُعرف التفاصيل من الورقة البحثية.
والمعروف حتى الآن من البيانات المفتوحة ما يلي:
- المؤتمر: NeurIPS 2026.
- اسم المعمارية: STILL.
- النوع: هجين داخل الطبقة بين انتباه softmax والانتباه الخطي.
- الفرق عن السابقين: الاختيار بحسب محتوى الرموز، لا بحسب الموضع.
- المعهد: معهد هاربين للتقنية (شنتشن).
- مقاييس الحيرة (perplexity) وطول السياق والتسريع: غير واردة في الشذرة المتاحة.
ما الذي ينبغي التحقق منه عند قراءة الورقة
للنهج داخل الطبقة ميزة عملية: فهو لا يتطلب تغيير بنية تكديس الطبقات، ويتيح نظريًا لكل طبقة الوصول إلى النمطين. لكن للاختيار القائم على المحتوى ثمنًا أيضًا: فالتوجيه الديناميكي أصعب في التسريع بدقة على GPU من النافذة الثابتة. وهنا تحسم النوى (kernels) والإنتاجية (throughput) الأمر بقدر ما يحسمه التعقيد النظري.
ولمن يهم هذا الآن؟ للفرق التي تدرّب نماذج للسياق الطويل أو تعيد ضبطها، وتقارن بين المخططات الهجينة. وفيما يلي ما ينبغي البحث عنه في الورقة والشيفرة:
- كيف تتصرف STILL في مهام الاسترجاع الدقيق (needle-in-a-haystack، retrieval) مقارنةً بالنماذج الخطية الخالصة.
- السرعة الفعلية على التسلسلات الطويلة، لا السلوك التقاربي النظري فقط.
- المقارنة مع الهجائن بين الطبقات عند ميزانية متساوية من المعاملات والتدريب.
- توافر تنفيذ مفتوح والتوافق مع الأطر الحالية.
حتى الآن، هذا طرح لخطوة تالية في معماريات السياق الطويل. ويتوقف الحكم النهائي على أرقام غير موجودة في الجزء التمهيدي.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.