HyenaND: عامل شبه تربيعي يحلّ محل attention في البيانات متعددة الأبعاد

قدّم باحثون HyenaND، وهو عامل شبه تربيعي (subquadratic) للشبكات العصبية يحلّ محل آلية attention عند التعامل مع البيانات متعددة الأبعاد. يعالج العامل الصور والأحجام ثلاثية الأبعاد والمعادلات التفاضلية الجزئية (PDE) في هندستها الأصلية، دون فردها في سلسلة أحادية البعد. ونُشرت الورقة البحثية الأولية على arXiv في يوليو 2026، ووعدها الأساسي تعقيد O(L log L) بدلًا من التعقيد التربيعي O(L²) في attention.

أين يكمن ضعف attention

تتوسّع آلية attention تربيعيًا: فمع طول المدخل L تنمو تكلفتها بمعدل O(L²)، ولذلك يصبح السياق الطويل باهظ الثمن. وبحسب صياغة المؤلفين، فإن جميع البدائل شبه التربيعية الحالية مضطرة إلى تقديم تنازلات عند التعامل مع البيانات متعددة الأبعاد.

فالالتفافات التقليدية تفتقر إلى مجال الاستقبال العام (global receptive field) وإلى الاعتماد على المدخل، أما النماذج التكرارية فتتطلب فرد الصورة أو الحجم ثلاثي الأبعاد وفق ترتيب مسح أحادي البعد مصطنع، وهذا الترتيب يُفسد البنية المكانية الأصلية للبيانات.

كيف يعمل HyenaND

HyenaND عامل عام (global) ومعتمد على المدخل (input-dependent)، ويعمل مباشرةً على الهندسة الأصلية للبيانات متعددة الأبعاد عبر التفافات مع نوى متعددة الأبعاد مُعامَلة ضمنيًا (implicitly parameterized). وعلى عكس الالتفاف التقليدي، فإن النواة هنا عامة وتتكيّف مع المدخل المحدد.

وتؤمّن السرعة العملية تنفيذ CUDA المسمّى nSubQ، إذ يدمج مسار الالتفاف عبر تحويل فورييه السريع (FFT) في نواة واحدة، فيحوّل التعقيد النظري O(L log L) إلى تسريع فعلي في زمن التنفيذ.

• HyenaND — عامل شبه تربيعي وعام ومعتمد على المدخل (input-dependent)
• يعمل مع الصور والأحجام ثلاثية الأبعاد والمعادلات التفاضلية الجزئية دون فردها في بُعد واحد
• نواة CUDA المسمّاة nSubQ تدمج مسار FFT للالتفاف في عملية واحدة
• التعقيد O(L log L) مقابل O(L²) في attention
• جرى اختباره في 4 مجالات: الجينوميات والرؤية الحاسوبية والتصوير الطبي والمعادلات التفاضلية الجزئية

ماذا أظهرت التجارب

عادلت حِزم HyenaND الخالصة في الدقة خطوط الأساس القوية القائمة على attention في أربعة أنواع من المهام دفعة واحدة: جينوميات السياق الطويل، والرؤية الحاسوبية، والتصوير الطبي، ونمذجة المعادلات التفاضلية الجزئية. أي أن التخلي عن attention التربيعي لم يكلّف شيئًا من الجودة.

وكانت التكوينات الهجينة أقوى: فتناوب طبقات HyenaND وattention تفوّق على attention الخالص وعلى الهجائن القائمة على النماذج التكرارية.

«التكوينات الهجينة التي تتناوب فيها طبقات

HyenaND وattention تتفوّق على attention الخالص وعلى الهجائن القوية القائمة على التكرارية»، كما ورد في ملخص الورقة البحثية على arXiv.

ما معنى ذلك

يتحوّل سباق استبدال attention من النص أحادي البعد إلى البيانات متعددة الأبعاد. ويُظهر HyenaND أنه يمكن الحفاظ على دقة المحوّلات (transformers) والتخلص من التكلفة التربيعية حيثما تكون البيانات في الأصل ثنائية وثلاثية الأبعاد، كما في الطب والبيولوجيا والنمذجة الفيزيائية.

أسئلة شائعة

ما هو HyenaND؟

HyenaND عامل شبه تربيعي للشبكات العصبية، وهو بديل لـ attention. يعالج البيانات متعددة الأبعاد (الصور والأحجام وPDE) في هندستها الأصلية عبر التفافات عامة تعتمد على المدخل، ويتوسّع بتعقيد O(L log L).

بماذا يختلف HyenaND عن attention؟

يتوسّع attention تربيعيًا — O(L²) بالنسبة إلى طول المدخل. أما HyenaND فيوفّر مجال الاستقبال العام نفسه والاعتماد على المدخل، لكن بتعقيد O(L log L)، ولا يتطلب فرد البيانات متعددة الأبعاد في سلسلة أحادية البعد.

أين يُستخدم HyenaND؟

بحسب بيانات الورقة البحثية الأولية، جرى اختبار HyenaND على جينوميات السياق الطويل والرؤية الحاسوبية والتصوير الطبي ونمذجة المعادلات التفاضلية الجزئية.