فريق Qwen يطلق FlashQLA: تسريع الانتباه الخطي حتى 3 أضعاف على معالجات NVIDIA Hopper

أطلق فريق QwenLM مكتبة FlashQLA، وهي مكتبة نوى مفتوحة المصدر تسرّع عمليات الانتباه الخطي حتى 3 أضعاف على معالجات NVIDIA ببنية Hopper. وتستهدف المكتبة سيناريوهين: التدريب المسبق واسع النطاق للنماذج اللغوية، والاستدلال الوكيلي على أجهزة الحافة (edge).

ما هي FlashQLA

تحسّن FlashQLA المرورين الأمامي والخلفي لبنية Gated Delta Network (GDN) في نمط Chunked Prefill. وتُعد GDN نوعًا من الانتباه الخطي: آلية ذات تعقيد حسابي O(n) بالنسبة إلى طول السياق، في مقابل O(n²) في المحوّلات القياسية. وعمليًا، يعني ذلك أن النماذج المبنية على GDN قادرة على العمل مع سياقات طويلة جدًا دون نمو انفجاري في استهلاك الذاكرة.

لكن المشكلة أن المزايا النظرية لا تتحول إلى سرعة فعلية دون نوى منخفضة المستوى فعّالة. وهذه هي الفجوة التي تسدّها FlashQLA.

يشير الاسم إلى FlashAttention، المكتبة التي جعلت الانتباه التربيعي عمليًا للتسلسلات الطويلة عبر تحسين الذاكرة بتقسيمها إلى بلاطات (tiling). وتعالج FlashQLA مهمة مماثلة للبنى الخطية: فهي توفر الطبقة التحتية التي لا يحقق النهج الواعد نظريًا أرقامًا حقيقية من دونها.

التسريع 3×: كيف تحقق؟

يأتي هذا المكسب في الأداء من تحسين عميق لمعالجات NVIDIA Hopper (H100/H200)، وهي المعالجات المهيمنة في مراكز البيانات السحابية الحديثة. وتضم بنية Hopper وحدات متخصصة للتعامل مع المنطق الحسابي التكراري والمتناثر، وهو ما ينسجم جيدًا مع متطلبات GDN.

تغطي المكتبة عدة سيناريوهات:

• التدريب المسبق واسع النطاق — المرور الخلفي المسرَّع يقلّص زمن التدريب وتكلفته
• الاستدلال على أجهزة الحافة (edge) — تنفيذ فعّال دون معالج GPU سحابي قوي، وهو أمر مهم للنشر على الأجهزة
• Chunked Prefill — تقسيم سياق الإدخال الطويل إلى كتل يخفّض ذروة استهلاك الذاكرة
• الاستدلال الوكيلي — استدعاء النموذج مرارًا في مسار واحد دون تراكم في زمن الاستجابة
• البنى الهجينة — التوافق مع النماذج التي تجمع بين الانتباه الخطي والانتباه القياسي

قبل ظهور FlashQLA، كان المطورون الذين يعتمدون بنى GDN يحصلون على نتائج ضعيفة في الاختبارات المعيارية، لا بسبب عيوب في البنية نفسها، بل لغياب نوى محسّنة. وقد أوجد ذلك انطباعًا خاطئًا بأن الانتباه الخطي غير قادر على المنافسة.

لماذا يهم ذلك Alibaba وQwen

يُعد فريق Qwen التابع لـ Alibaba Cloud من أنشط اللاعبين في تطوير النماذج اللغوية الكبيرة مفتوحة المصدر. وتواصل سلسلة نماذج Qwen توسيع قدراتها: السياق الطويل، والوسائط المتعددة، وإصدارات متخصصة في البرمجة والرياضيات، ودعم استدعاء الأدوات.

ويمثل إطلاق FlashQLA رهانًا على البنية التحتية، لا مجرد أثر بحثي. فـ Alibaba تستثمر في فرضية أن البنى الخطية والهجينة ستشغل حيّزًا مهمًا في الجيل القادم من النماذج اللغوية الكبيرة، خصوصًا حيث يهم السياق الطويل وكفاءة الموارد. أما التركيز على Hopper تحديدًا، لا على أجيال المعالجات الأقدم، فيدل على استهداف سيناريوهات الإنتاج لا ظروف المختبر.

ماذا يعني ذلك

تشير FlashQLA إلى أن البنى الخطية تنتقل من مرحلة البحث إلى المرحلة الهندسية. فالتسريع حتى 3× على عتاد حديث يجعل نماذج GDN قادرة فعلًا على منافسة المحوّلات في مهام السياق الطويل والاستدلال الوكيلي. وبالنسبة إلى المطورين الذين يعملون مع بنى غير قائمة على المحوّلات، فهذا ظهور لأدوات عمل حقيقية، لا مجرد وعود نظرية.