HyenaND: субквадратичный оператор вместо attention для многомерных данных
Исследователи представили HyenaND — субквадратичный оператор, заменяющий attention на многомерных данных. Он обрабатывает изображения, объёмы и уравнения в частных производных в родной геометрии, без разворачивания в 1D, со сложностью O(L log L). В тестах на геномике, зрении, медицине и PDE гибрид HyenaND с attention обошёл и чистый attention, и рекуррентные гибриды.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.LG؛ بتحرير Hamidun News
HyenaND: مُعامل شبه تربيعي يحل محل الانتباه (attention) للبيانات متعددة الأبعاد
قدّم باحثون HyenaND، وهو مُعامل شبه تربيعي (subquadratic) للشبكات العصبية يحل محل آلية الانتباه (attention) عند التعامل مع البيانات متعددة الأبعاد، ويعالج الصور والأحجام (volumes) ومعادلات التفاضل الجزئي (PDE) ضمن هندستها الأصلية، دون الحاجة إلى "فردها" في متسلسلة أحادية البُعد. نُشرت الورقة الأولية على arXiv في يوليو 2026، والوعد الأساسي هو تعقيد O(L log L) بدلاً من التعقيد التربيعي O(L²) الخاص بالانتباه.
أين تكمن نقطة ضعف الانتباه
تتوسع آلية الانتباه بشكل تربيعي: فمع طول مدخل يساوي L، تنمو تكلفتها بمعدل O(L²)، ما يجعل السياق الطويل مكلفًا. وبحسب صياغة الباحثين، فإن جميع البدائل شبه التربيعية الحالية مضطرة لتقديم تنازلات عند التعامل مع البيانات متعددة الأبعاد.
فالالتفافات (convolutions) التقليدية تفتقر إلى حقل استقبال شامل واعتماد على المدخل، في حين تتطلب النماذج التكرارية (recurrent) "فرد" الصورة أو الحجم ثلاثي الأبعاد إلى ترتيب اجتياز اصطناعي أحادي البُعد — وهذا الترتيب يدمّر البنية المكانية الأصلية للبيانات.
كيف يعمل HyenaND
HyenaND هو مُعامل شامل يعتمد على المدخل (input-dependent)، يعمل مباشرة على الهندسة الأصلية للبيانات متعددة الأبعاد عبر التفافات ذات نُوى (kernels) متعددة الأبعاد مُعرَّفة بشكل ضمني. وخلافًا للالتفاف التقليدي، فإن النواة هنا شاملة وتتكيف مع المدخل المحدد.
أما السرعة العملية فتوفرها حزمة تنفيذ CUDA المسماة nSubQ: إذ تدمج مسار الالتفاف عبر تحويل فورييه السريع (FFT) في نواة واحدة، محوّلة التعقيد النظري O(L log L) إلى تسريع فعلي في زمن التنفيذ.
- HyenaND — مُعامل شبه تربيعي، شامل، يعتمد على المدخل
- يعمل مع الصور والأحجام ثلاثية الأبعاد ومعادلات PDE دون الفرد إلى بُعد واحد
- نواة CUDA المسماة nSubQ تدمج مسار التفاف FFT في عملية واحدة
- التعقيد O(L log L) مقابل O(L²) للانتباه
- جُرّب على 4 مجالات: الجينوميات، الرؤية الحاسوبية، التصوير الطبي، معادلات PDE
ماذا أظهرت التجارب
تساوت مكدّسات HyenaND الخالصة في الدقة مع أسس مرجعية (baselines) قوية قائمة على الانتباه في أربعة أنواع من المهام في آنٍ واحد: الجينوميات ذات السياق الطويل، والرؤية الحاسوبية، والتصوير الطبي، ونمذجة معادلات التفاضل الجزئي. أي أن التخلي عن الانتباه التربيعي لم يكلّف أي خسارة في الجودة.
وتبيّن أن التكوينات الهجينة أقوى: فتبادل طبقات HyenaND مع طبقات الانتباه تفوّق على الانتباه الخالص وعلى الأنظمة الهجينة القوية القائمة على النماذج التكرارية على حد سواء.
"التكوينات الهجينة التي تتبادل فيها طبقات
HyenaND وطبقات الانتباه تتفوق على الانتباه الخالص وعلى الأنظمة الهجينة القوية القائمة على التكرار"، بحسب ما جاء في ملخص الورقة الأولية على arXiv.
ما الذي يعنيه هذا
يتحول سباق استبدال الانتباه من النص أحادي البُعد إلى البيانات متعددة الأبعاد. ويُظهر HyenaND أنه بالإمكان الحفاظ على دقة المحولات (transformers) والتخلص من التكلفة التربيعية حيثما كانت البيانات ثنائية أو ثلاثية الأبعاد بطبيعتها — في الطب والبيولوجيا والنمذجة الفيزيائية.
أسئلة شائعة
ما هو HyenaND؟
HyenaND هو مُعامل شبه تربيعي للشبكات العصبية، بديل لآلية الانتباه. يعالج البيانات متعددة الأبعاد (الصور، الأحجام، معادلات PDE) ضمن هندستها الأصلية عبر التفافات شاملة تعتمد على المدخل، ويتوسع بمعدل O(L log L).
بماذا يختلف HyenaND عن الانتباه؟
يتوسع الانتباه بشكل تربيعي — O(L²) بحسب طول المدخل. ويوفر HyenaND حقل الاستقبال الشامل نفسه والاعتماد على المدخل نفسه، لكن بتعقيد O(L log L)، ولا يتطلب فرد البيانات متعددة الأبعاد في متسلسلة أحادية البُعد.
أين يُستخدم HyenaND؟
بحسب بيانات الورقة الأولية، جُرّب HyenaND على الجينوميات ذات السياق الطويل، والرؤية الحاسوبية، والتصوير الطبي، ونمذجة معادلات التفاضل الجزئي.
هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟
AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.