ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارMachine Learning Mastery→ المصدر

دمج العمليات وFlashAttention: كيف نمنع وحدة GPU من الجلوس عاطلة في انتظار الذاكرة

كثيرًا ما تنتظر وحدة GPU أثناء الاستدلال بدلًا من أن تحسب: فكل عملية صغيرة تُطلق على حدة وتكتب نتيجتها الوسيطة في الذاكرة. ويدمج دمج العمليات هذه الخطوات في تمريرة واحدة، كما لو أن الطاهي يقطّع السلطة في وعاء واحد لا في خمسة أوعية. أما FlashAttention فيحسب الانتباه على شكل كتل، ولا يبني في الذاكرة مصفوفة T×T الضخمة. الأوزان والصيغ الرياضية تبقى كما هي، لذلك يُنصح بتفعيل الواجهات الخلفية الجاهزة أولًا ثم تحليل أداء حمل العمل بأكمله.

معالج بواسطة الذكاء الاصطناعي من Machine Learning Mastery؛ بتحرير Hamidun News
دمج العمليات وFlashAttention: كيف نمنع وحدة GPU من الجلوس عاطلة في انتظار الذاكرة
المصدر: Machine Learning Mastery. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليMachine Learning Mastery ↗
رئيس التحرير
حقيقة رئيسية #1تقلّل Paged attention تجزّؤ KV-cache باستخدام كتل من 16 رمزًا
حقيقة رئيسية #2يفيد FlashAttention في مرحلة prefill، أما في decode فالأهم قراءة KV-cache
لا يسرّع torch.compile الأداء دائمًافانقطاعات الرسم البياني تُفسد الدمج

عندما يكون استدلال النموذج اللغوي أبطأ مما نرغب، فإن أول ما يخطر في البال عادةً هو الحاجة إلى GPU أقوى. لكن المسرّع في كثير من الأحيان لا يحسب، بل ينتظر. فكل عملية صغيرة في الطبقة تُطلق في «نواة» مستقلة (kernel، وهو الاسم الذي يُطلق على البرنامج الذي يُنفَّذ على GPU)، ثم تُكتب نتيجتها الوسيطة في ذاكرة الفيديو الرئيسية HBM وتُقرأ منها فورًا مرة أخرى.

الأمر أشبه بتحضير سلطة ينقل فيها الطاهي كل مكوّن مقطّع إلى وعاء جديد: يبذل جهدًا في حمل الأواني يفوق جهده في التقطيع بالسكين. يدمج دمج العمليات (operator fusion) عدة خطوات في تمريرة واحدة، ويفعل FlashAttention الشيء نفسه مع آلية الانتباه. وتبقى أوزان النموذج وصيغه الرياضية على حالها.

تناول هذه الطبقة من التحسين أدريان تام في شرح تعليمي على موقع Machine Learning Mastery. لا تتضمن المادة قياسات سرعة خاصة بالكاتب، لكنها تعرض أسباب البطء وسبل علاجه بوضوح.

لماذا يكون الكود «الصحيح» بطيئًا

تتكوّن طبقة المحوّل (Transformer) من خطوات مألوفة: الإسقاطات الخطية، والانتباه، والتطبيع، ودوال التنشيط، وجمع الناتج مع الإشارة الأصلية (residual). التنفيذ المباشر يُطلق نواة مستقلة لكل خطوة، ويكتب كل تنسور وسيط في الذاكرة. الرياضيات سليمة، لكن الوقت الذي يضيع في نقل القيم وإطلاق النواة يفوق الوقت المخصص للحساب المفيد.

مثال نموذجي على ذلك كتلة SwiGLU في النماذج الحديثة. فهي تضم ثلاث عمليات ضرب مصفوفات ودالة تنشيط SiLU وضربًا عنصرًا بعنصر. وكل حد فاصل بين عمليتين يعني كتابة في HBM وقراءة منها من جديد. وإذا دُمجت SiLU مع عملية الضرب، حلّت تمريرة واحدة على البيانات محل تمريرتين.

وثمة مرشحون آخرون للدمج: جمع الناتج مع الإشارة الأصلية مقترنًا بالتطبيع RMSNorm أو LayerNorm، وbias مع دالة التنشيط، والتضمينات الموضعية (RoPE) للاستعلامات والمفاتيح، وتحديث KV-cache، وإلغاء التكميم (dequantization) مع ضرب المصفوفات. لكن للدمج حدودًا. فإذا كان معظم الوقت تلتهمه عملية ضرب مصفوفات واحدة ضخمة، فإن المكسب يكون ضئيلًا. وقد تؤدي النواة العملاقة أكثر من اللازم إلى إجهاد سجلات GPU وخفض إشغال الوحدات الحسابية، وقد تكون أبطأ من عدة نوى مضبوطة جيدًا. وينصح الكاتب بإبقاء الكود البسيط مرجعًا للمقارنة، واختيار النوى تجريبيًا عبر تحليل أداء حمل العمل بأكمله.

FlashAttention وKV-cache المقسَّم إلى صفحات

يبني الانتباه الساذج مصفوفة درجات Q·Kᵀ بحجم T² لكل رأس انتباه، حيث T هو طول التسلسل. وكتابة هذه المصفوفة في الذاكرة ثم إعادة قراءتها لحساب softmax تستهلك عرض النطاق الترددي، ويصبح ذلك عنق زجاجة في prefill الطويل (المعالجة الأولية للموجّه). يتجاوز FlashAttention هذه المشكلة: فهو يعالج الاستعلامات والمفاتيح والقيم على شكل بلاطات، ويحدّث إحصاءات softmax، ويراكم النتيجة في الذاكرة السريعة داخل الشريحة مباشرة. ولا تصل المصفوفة الكاملة إلى الذاكرة الرئيسية.

يتوافر ذلك في PyTorch عبر scaled_dot_product_attention. ويختار الإطار الواجهة الخلفية بنفسه بحسب الجهاز ونوع البيانات وأشكال التنسورات والقناع. ويمكن تحديد الأولوية يدويًا عبر sdpa_kernel، لكن الربط الصارم محفوف بالمخاطر: فإذا لم تدعم لا واجهة FlashAttention ولا واجهة cuDNN المدخلات أو العتاد لديك، فسيتعطل الكود.

من المهم التمييز بين المرحلتين. يفيد FlashAttention بصورة خاصة في prefill، حيث تُعالَج رموز كثيرة معًا. أما في decode، حين يولّد النموذج الإجابة رمزًا واحدًا في كل مرة، فيكون عدد الاستعلامات الجديدة واحدًا أو بضعة استعلامات، وغالبًا ما يصبح عنق الزجاجة هو قراءة KV-cache المتنامي، أي البيانات المحفوظة عن الرموز التي سبقت معالجتها.

وهنا يأتي دور paged attention. فـ KV-cache الخاص بالطلب ينمو رمزًا بعد رمز وينتهي عند طول لا يمكن التنبؤ به. وإذا طُلب له قطعة ذاكرة واحدة متصلة، فسيُحجز جزء من المساحة بلا فائدة، وتصبح عمليات نقل الذاكرة المؤقتة وتوسيعها مكلفة. أما النهج المقسَّم إلى صفحات فيجزّئ الذاكرة إلى كتل ثابتة الحجم ويحتفظ بجدول يربط الكتل المنطقية بالكتل الفعلية. وتتبع النواة هذا الجدول ولا يمكنها افتراض أن K[t+1] يقع بجوار K[t]. وتُمنح الكتل عند الحاجة، وتعود إلى المجمّع بعد انتهاء الطلب، ويمكن مشاركتها بين التسلسلات ذات البادئة المشتركة. وهذا لا يقلّل عدد عناصر KV المنطقية: فالمكسب يتمثل في تجزّؤ أقل واحتياطي محجوز أصغر.

في المثال المعتمد على vLLM يحدّد الكاتب صراحةً block_size=16 والواجهة الخلفية TRITON_ATTN. أما المعامل block_size بحد ذاته فلا يختار الواجهة الخلفية الحسابية.

torch.compile وCUDA Graphs

كتابة النوى يدويًا بـ CUDA أو Triton عمل يحتاج إلى متخصصين. والبديل: يلتقط TorchDynamo رسم العمليات البياني، ثم يحسّنه TorchInductor، وهو الواجهة الخلفية الافتراضية لـ torch.compile، فيعيد استخدام المخازن المؤقتة ويدمج العمليات العنصرية المتوافقة في نواة Triton واحدة. لكن الدمج لا يشمل كل شيء. فانقطاعات الرسم البياني الناجمة عن التفرعات المعتمدة على البيانات، أو العمليات غير المدعومة، أو تحويل التنسورات إلى قيم عددية في Python، تقسّم النموذج إلى عدة رسوم بيانية.

ويضيف نمط reduce-overhead تقنية CUDA Graphs. فالدمج يقلّل عدد النوى وحركة الذاكرة، بينما يسجّل CUDA Graph تسلسل عمليات GPU المتبقي ويطلقه بأمر واحد من CPU، فيزيل كلفة الإطلاق. وهذا الأسلوب هو الأنسب للمهام المتكررة ذات الدفعات الصغيرة، مثل decode. وإذا كانت أشكال الطلبات تتغير باستمرار، فإن الفائدة تقل، وقد تزداد الذاكرة المخصصة للمخازن العاملة.

ماذا نفعل عمليًا

  • حلّلوا أداء التطبيق بأكمله لا النواة المنفردة: فانخفاض عدد النوى في أداة التحليل مجرد مؤشر على المكسب لا دليل عليه.
  • فعّلوا TORCH_LOGS=perf_hints وoutput_code قبل تشغيل Python لترَوا العمليات التي دمجها Inductor.
  • قارنوا النتائج بهامش تسامح يناسب نوع البيانات لديكم: فترتيب العمليات يتغير، وتُعدّ الفروق العددية الصغيرة أمرًا طبيعيًا.
  • انتبهوا إلى الأشكال الديناميكية: فهي تسبب إعادة ترجمة وقد تقلّل أثر الدمج.

المادة تعليمية ولا تتضمن قياسات خاصة بالكاتب، لكنها مفيدة كخريطة للأسباب والإجراءات لمن يسرّع الاستدلال على vLLM أو PyTorch.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا يكون الكود «الصحيح» بطيئًا؟

تتكوّن طبقة المحوّل (Transformer) من خطوات مألوفة: الإسقاطات الخطية، والانتباه، والتطبيع، ودوال التنشيط، وجمع الناتج مع الإشارة الأصلية (residual). التنفيذ المباشر يُطلق نواة مستقلة لكل خطوة، ويكتب كل تنسور وسيط في الذاكرة. الرياضيات سليمة، لكن الوقت الذي يضيع في نقل القيم وإطلاق النواة يفوق الوقت المخصص للحساب المفيد. مثال نموذجي على ذلك كتلة SwiGLU في النماذج الحديثة. فهي تضم ثلاث عمليات ضرب مصفوفات ودالة تنشيط SiLU وضربًا عنصرًا بعنصر. وكل حد فاصل بين عمليتين يعني كتابة في HBM وقراءة منها من جديد.

ما أبرز التفاصيل حول FlashAttention وKV-cache المقسَّم إلى صفحات؟

يبني الانتباه الساذج مصفوفة درجات Q·Kᵀ بحجم T² لكل رأس انتباه، حيث T هو طول التسلسل. وكتابة هذه المصفوفة في الذاكرة ثم إعادة قراءتها لحساب softmax تستهلك عرض النطاق الترددي، ويصبح ذلك عنق زجاجة في prefill الطويل (المعالجة الأولية للموجّه). يتجاوز FlashAttention هذه المشكلة: فهو يعالج الاستعلامات والمفاتيح والقيم على شكل بلاطات، ويحدّث إحصاءات softmax، ويراكم النتيجة في الذاكرة السريعة داخل الشريحة مباشرة. ولا تصل المصفوفة الكاملة إلى الذاكرة الرئيسية. يتوافر ذلك في PyTorch عبر scaled_dot_product_attention.

ما أبرز التفاصيل حول torch.compile وCUDA Graphs؟

كتابة النوى يدويًا بـ CUDA أو Triton عمل يحتاج إلى متخصصين. والبديل: يلتقط TorchDynamo رسم العمليات البياني، ثم يحسّنه TorchInductor، وهو الواجهة الخلفية الافتراضية لـ torch.compile، فيعيد استخدام المخازن المؤقتة ويدمج العمليات العنصرية المتوافقة في نواة Triton واحدة. لكن الدمج لا يشمل كل شيء. فانقطاعات الرسم البياني الناجمة عن التفرعات المعتمدة على البيانات، أو العمليات غير المدعومة، أو تحويل التنسورات إلى قيم عددية في Python، تقسّم النموذج إلى عدة رسوم بيانية. ويضيف نمط reduce-overhead تقنية CUDA Graphs.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…