دمج العمليات وFlashAttention: كيف نمنع وحدة GPU من الجلوس عاطلة في انتظار الذاكرة
كثيرًا ما تنتظر وحدة GPU أثناء الاستدلال بدلًا من أن تحسب: فكل عملية صغيرة تُطلق على حدة وتكتب نتيجتها الوسيطة في الذاكرة. ويدمج دمج العمليات هذه الخطوات في تمريرة واحدة، كما لو أن الطاهي يقطّع السلطة في وعاء واحد لا في خمسة أوعية. أما FlashAttention فيحسب الانتباه على شكل كتل، ولا يبني في الذاكرة مصفوفة T×T الضخمة. الأوزان والصيغ الرياضية تبقى كما هي، لذلك يُنصح بتفعيل الواجهات الخلفية الجاهزة أولًا ثم تحليل أداء حمل العمل بأكمله.
معالج بواسطة الذكاء الاصطناعي من Machine Learning Mastery؛ بتحرير Hamidun News
عندما يكون استدلال النموذج اللغوي أبطأ مما نرغب، فإن أول ما يخطر في البال عادةً هو الحاجة إلى GPU أقوى. لكن المسرّع في كثير من الأحيان لا يحسب، بل ينتظر. فكل عملية صغيرة في الطبقة تُطلق في «نواة» مستقلة (kernel، وهو الاسم الذي يُطلق على البرنامج الذي يُنفَّذ على GPU)، ثم تُكتب نتيجتها الوسيطة في ذاكرة الفيديو الرئيسية HBM وتُقرأ منها فورًا مرة أخرى.
الأمر أشبه بتحضير سلطة ينقل فيها الطاهي كل مكوّن مقطّع إلى وعاء جديد: يبذل جهدًا في حمل الأواني يفوق جهده في التقطيع بالسكين. يدمج دمج العمليات (operator fusion) عدة خطوات في تمريرة واحدة، ويفعل FlashAttention الشيء نفسه مع آلية الانتباه. وتبقى أوزان النموذج وصيغه الرياضية على حالها.
تناول هذه الطبقة من التحسين أدريان تام في شرح تعليمي على موقع Machine Learning Mastery. لا تتضمن المادة قياسات سرعة خاصة بالكاتب، لكنها تعرض أسباب البطء وسبل علاجه بوضوح.
لماذا يكون الكود «الصحيح» بطيئًا
تتكوّن طبقة المحوّل (Transformer) من خطوات مألوفة: الإسقاطات الخطية، والانتباه، والتطبيع، ودوال التنشيط، وجمع الناتج مع الإشارة الأصلية (residual). التنفيذ المباشر يُطلق نواة مستقلة لكل خطوة، ويكتب كل تنسور وسيط في الذاكرة. الرياضيات سليمة، لكن الوقت الذي يضيع في نقل القيم وإطلاق النواة يفوق الوقت المخصص للحساب المفيد.
مثال نموذجي على ذلك كتلة SwiGLU في النماذج الحديثة. فهي تضم ثلاث عمليات ضرب مصفوفات ودالة تنشيط SiLU وضربًا عنصرًا بعنصر. وكل حد فاصل بين عمليتين يعني كتابة في HBM وقراءة منها من جديد. وإذا دُمجت SiLU مع عملية الضرب، حلّت تمريرة واحدة على البيانات محل تمريرتين.
وثمة مرشحون آخرون للدمج: جمع الناتج مع الإشارة الأصلية مقترنًا بالتطبيع RMSNorm أو LayerNorm، وbias مع دالة التنشيط، والتضمينات الموضعية (RoPE) للاستعلامات والمفاتيح، وتحديث KV-cache، وإلغاء التكميم (dequantization) مع ضرب المصفوفات. لكن للدمج حدودًا. فإذا كان معظم الوقت تلتهمه عملية ضرب مصفوفات واحدة ضخمة، فإن المكسب يكون ضئيلًا. وقد تؤدي النواة العملاقة أكثر من اللازم إلى إجهاد سجلات GPU وخفض إشغال الوحدات الحسابية، وقد تكون أبطأ من عدة نوى مضبوطة جيدًا. وينصح الكاتب بإبقاء الكود البسيط مرجعًا للمقارنة، واختيار النوى تجريبيًا عبر تحليل أداء حمل العمل بأكمله.
FlashAttention وKV-cache المقسَّم إلى صفحات
يبني الانتباه الساذج مصفوفة درجات Q·Kᵀ بحجم T² لكل رأس انتباه، حيث T هو طول التسلسل. وكتابة هذه المصفوفة في الذاكرة ثم إعادة قراءتها لحساب softmax تستهلك عرض النطاق الترددي، ويصبح ذلك عنق زجاجة في prefill الطويل (المعالجة الأولية للموجّه). يتجاوز FlashAttention هذه المشكلة: فهو يعالج الاستعلامات والمفاتيح والقيم على شكل بلاطات، ويحدّث إحصاءات softmax، ويراكم النتيجة في الذاكرة السريعة داخل الشريحة مباشرة. ولا تصل المصفوفة الكاملة إلى الذاكرة الرئيسية.
يتوافر ذلك في PyTorch عبر scaled_dot_product_attention. ويختار الإطار الواجهة الخلفية بنفسه بحسب الجهاز ونوع البيانات وأشكال التنسورات والقناع. ويمكن تحديد الأولوية يدويًا عبر sdpa_kernel، لكن الربط الصارم محفوف بالمخاطر: فإذا لم تدعم لا واجهة FlashAttention ولا واجهة cuDNN المدخلات أو العتاد لديك، فسيتعطل الكود.
من المهم التمييز بين المرحلتين. يفيد FlashAttention بصورة خاصة في prefill، حيث تُعالَج رموز كثيرة معًا. أما في decode، حين يولّد النموذج الإجابة رمزًا واحدًا في كل مرة، فيكون عدد الاستعلامات الجديدة واحدًا أو بضعة استعلامات، وغالبًا ما يصبح عنق الزجاجة هو قراءة KV-cache المتنامي، أي البيانات المحفوظة عن الرموز التي سبقت معالجتها.
وهنا يأتي دور paged attention. فـ KV-cache الخاص بالطلب ينمو رمزًا بعد رمز وينتهي عند طول لا يمكن التنبؤ به. وإذا طُلب له قطعة ذاكرة واحدة متصلة، فسيُحجز جزء من المساحة بلا فائدة، وتصبح عمليات نقل الذاكرة المؤقتة وتوسيعها مكلفة. أما النهج المقسَّم إلى صفحات فيجزّئ الذاكرة إلى كتل ثابتة الحجم ويحتفظ بجدول يربط الكتل المنطقية بالكتل الفعلية. وتتبع النواة هذا الجدول ولا يمكنها افتراض أن K[t+1] يقع بجوار K[t]. وتُمنح الكتل عند الحاجة، وتعود إلى المجمّع بعد انتهاء الطلب، ويمكن مشاركتها بين التسلسلات ذات البادئة المشتركة. وهذا لا يقلّل عدد عناصر KV المنطقية: فالمكسب يتمثل في تجزّؤ أقل واحتياطي محجوز أصغر.
في المثال المعتمد على vLLM يحدّد الكاتب صراحةً block_size=16 والواجهة الخلفية TRITON_ATTN. أما المعامل block_size بحد ذاته فلا يختار الواجهة الخلفية الحسابية.
torch.compile وCUDA Graphs
كتابة النوى يدويًا بـ CUDA أو Triton عمل يحتاج إلى متخصصين. والبديل: يلتقط TorchDynamo رسم العمليات البياني، ثم يحسّنه TorchInductor، وهو الواجهة الخلفية الافتراضية لـ torch.compile، فيعيد استخدام المخازن المؤقتة ويدمج العمليات العنصرية المتوافقة في نواة Triton واحدة. لكن الدمج لا يشمل كل شيء. فانقطاعات الرسم البياني الناجمة عن التفرعات المعتمدة على البيانات، أو العمليات غير المدعومة، أو تحويل التنسورات إلى قيم عددية في Python، تقسّم النموذج إلى عدة رسوم بيانية.
ويضيف نمط reduce-overhead تقنية CUDA Graphs. فالدمج يقلّل عدد النوى وحركة الذاكرة، بينما يسجّل CUDA Graph تسلسل عمليات GPU المتبقي ويطلقه بأمر واحد من CPU، فيزيل كلفة الإطلاق. وهذا الأسلوب هو الأنسب للمهام المتكررة ذات الدفعات الصغيرة، مثل decode. وإذا كانت أشكال الطلبات تتغير باستمرار، فإن الفائدة تقل، وقد تزداد الذاكرة المخصصة للمخازن العاملة.
ماذا نفعل عمليًا
- حلّلوا أداء التطبيق بأكمله لا النواة المنفردة: فانخفاض عدد النوى في أداة التحليل مجرد مؤشر على المكسب لا دليل عليه.
- فعّلوا TORCH_LOGS=perf_hints وoutput_code قبل تشغيل Python لترَوا العمليات التي دمجها Inductor.
- قارنوا النتائج بهامش تسامح يناسب نوع البيانات لديكم: فترتيب العمليات يتغير، وتُعدّ الفروق العددية الصغيرة أمرًا طبيعيًا.
- انتبهوا إلى الأشكال الديناميكية: فهي تسبب إعادة ترجمة وقد تقلّل أثر الدمج.
المادة تعليمية ولا تتضمن قياسات خاصة بالكاتب، لكنها مفيدة كخريطة للأسباب والإجراءات لمن يسرّع الاستدلال على vLLM أو PyTorch.
- 22 نوفمبر 2026هيئة SEC تدقق في حسابات Nvidia: السهم يهبط 14% في يوم واحد
- 22 نوفمبر 2026مؤشر Nasdaq 100 يخسر 10.4% في أسبوع: أسوأ أداء منذ الجائحة
- 22 نوفمبر 2026من مشروع هواية إلى شركة ناشئة بقيمة 3 مليارات دولار: LangChain تجمع 300 مليون دولار بعد أربع سنوات
- 22 نوفمبر 2026Nvidia توقف بيع H200 إلى الصين وترفض طلب ماسك بإعادة هوانغ
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا يكون الكود «الصحيح» بطيئًا؟
تتكوّن طبقة المحوّل (Transformer) من خطوات مألوفة: الإسقاطات الخطية، والانتباه، والتطبيع، ودوال التنشيط، وجمع الناتج مع الإشارة الأصلية (residual). التنفيذ المباشر يُطلق نواة مستقلة لكل خطوة، ويكتب كل تنسور وسيط في الذاكرة. الرياضيات سليمة، لكن الوقت الذي يضيع في نقل القيم وإطلاق النواة يفوق الوقت المخصص للحساب المفيد. مثال نموذجي على ذلك كتلة SwiGLU في النماذج الحديثة. فهي تضم ثلاث عمليات ضرب مصفوفات ودالة تنشيط SiLU وضربًا عنصرًا بعنصر. وكل حد فاصل بين عمليتين يعني كتابة في HBM وقراءة منها من جديد.
ما أبرز التفاصيل حول FlashAttention وKV-cache المقسَّم إلى صفحات؟
يبني الانتباه الساذج مصفوفة درجات Q·Kᵀ بحجم T² لكل رأس انتباه، حيث T هو طول التسلسل. وكتابة هذه المصفوفة في الذاكرة ثم إعادة قراءتها لحساب softmax تستهلك عرض النطاق الترددي، ويصبح ذلك عنق زجاجة في prefill الطويل (المعالجة الأولية للموجّه). يتجاوز FlashAttention هذه المشكلة: فهو يعالج الاستعلامات والمفاتيح والقيم على شكل بلاطات، ويحدّث إحصاءات softmax، ويراكم النتيجة في الذاكرة السريعة داخل الشريحة مباشرة. ولا تصل المصفوفة الكاملة إلى الذاكرة الرئيسية. يتوافر ذلك في PyTorch عبر scaled_dot_product_attention.
ما أبرز التفاصيل حول torch.compile وCUDA Graphs؟
كتابة النوى يدويًا بـ CUDA أو Triton عمل يحتاج إلى متخصصين. والبديل: يلتقط TorchDynamo رسم العمليات البياني، ثم يحسّنه TorchInductor، وهو الواجهة الخلفية الافتراضية لـ torch.compile، فيعيد استخدام المخازن المؤقتة ويدمج العمليات العنصرية المتوافقة في نواة Triton واحدة. لكن الدمج لا يشمل كل شيء. فانقطاعات الرسم البياني الناجمة عن التفرعات المعتمدة على البيانات، أو العمليات غير المدعومة، أو تحويل التنسورات إلى قيم عددية في Python، تقسّم النموذج إلى عدة رسوم بيانية. ويضيف نمط reduce-overhead تقنية CUDA Graphs.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.