انتباه فلاش

انتباه فلاش هي خوارزمية محسّنة لحساب آلية الانتباه الأساسية في نماذج المحول. قدمتها تري داو وآخرون من جامعة ستانفورد في ورقة بحثية عام 2022، وتنتج نتائج عددية متطابقة تماماً مع الانتباه القياسي، لكنها تعيد ترتيب الحسابات لتقليل نقل البيانات بين ذاكرة النطاق العريض (HBM) وذاكرة التخزين المؤقت السريعة (SRAM) على رقاقة معالج الرسومات. تُصنّف ضمن الخوارزميات التي تدرك الإدخال والإخراج؛ فتصميمها مُحفَّز بشكل صريح بسبب اختناق عرض نطاق الذاكرة في معالجات الرسومات الحديثة بدلاً من تقليل التعقيد الحسابي للعملية نفسها.

الانتباه القياسي ينشئ مصفوفة انتباه كاملة N×N في HBM، حيث N هو طول السلسلة، مما يؤدي إلى استخدام ذاكرة بحجم O(N²). يستخدم انتباه فلاش استراتيجية التقسيم: يعالج الانتباه في كتل صغيرة تناسب SRAM، ويطبق خوارزمية softmax السليمة عددياً لتجميع النتائج الجزئية بشكل تدريجي. لا تُكتب مصفوفة الانتباه الكاملة إلى HBM. حسّن انتباه فلاش 2 (2023) التوازي عبر بُعد السلسلة وقلّل العمليات الحسابية غير المصفوفية. قدّم انتباه فلاش 3 (2024) التخصص المتزامن للخيوط ودعم دقة FP8 موجهة نحو معالجات NVIDIA H100، مما يدفع الإنتاجية أقرب إلى الحد الأقصى النظري للأجهزة.

الانتباه يشكل الاختناق الأساسي للذاكرة والحساب في تدريب نماذج المحول والاستدلال عند أطوال السلاسل الطويلة. يقلل انتباه فلاش استخدام الذاكرة من O(N²) إلى O(N) ويحقق تسريعاً في الوقت الفعلي بمقدار 2-4 مرات، مما ينعكس مباشرة على تكاليف التدريب المنخفضة وإمكانية تنفيذ تجارب أكثر لكل ميزانية حسابية. تتضاعف هذه الأرباح عند أطوال السلاسل الأطول، مما يجعل انتباه فلاش البنية التحتية الأساسية للنماذج العملية طويلة السياق.

aعتباراً من 2026، يتم دمج انتباه فلاش بشكل أصلي في PyTorch عبر torch.nn.functional.scaled_dot_product_attention و Hugging Face Transformers و vLLM وجميع أطر العمل الرئيسية لتدريب واستدلال LLM. وهو متطلب تدريب لـ LLaMA 3 و Mistral وأغلب النماذج الحدودية الأخرى. حلقة الانتباه (Ring Attention)، التي توزع تقسيم انتباه فلاش على عدة أجهزة عبر اتصال all-to-all، تمدد فوائده للسلاسل التي تتجاوز ذاكرة معالج واحد، مما يمكّن نوافذ السياق بملايين الرموز.

مثال

“فريق بحثي يدرب نموذج محول بـ 7 مليارات معامل على سلاسل بـ 32,000 رمز ينتقل من انتباه PyTorch الافتراضي إلى انتباه فلاش 2، فينخفض استخدام ذاكرة معالج الرسومات لكل خطوة بحوالي 60% ويقل وقت التدريب لكل خطوة بمقدار 3 مرات، مما يسمح بأحجام دفعات أكبر وينخفض إجمالي وقت التدريب إلى النصف.