بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارTogether AI Blog→ المصدر

Together AI تستبدل النوى العملاقة بوكلاء ذكاء اصطناعي وتسرّع Llama 1B بنسبة 28% على B200

تخلّت Together AI عن النوى العملاقة (megakernel)، أي نواة GPU ضخمة واحدة تنفّذ النموذج كاملًا، واستبدلت بها Together Compiler، حيث يعيد وكلاء الذكاء الاصطناعي كتابة النوى ودمجها. على B200 يحقق Llama 3.2 1B سرعة 2118 توكن/ث مقابل 1649 للنواة العملاقة اليدوية، أي أسرع بنسبة 28%. أما في بيئة الإنتاج، فكانت النواة العملاقة تخدم نموذجًا واحدًا وحجم دفعة واحدًا وعميلًا واحدًا. لذلك فإن البحث الآلي عن السرعة أجدى من التجميع اليدوي. ويقدّم التقرير النتائج الرئيسية على النحو التالي:

معالج بواسطة الذكاء الاصطناعي من Together AI Blog؛ بتحرير Hamidun News
Together AI تستبدل النوى العملاقة بوكلاء ذكاء اصطناعي وتسرّع Llama 1B بنسبة 28% على B200
المصدر: Together AI Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTogether AI Blog ↗
رئيس التحرير
حقيقة رئيسية #1CUDA Graphs وPDL على نوى Inductor القياسية تحققان 98% من سرعة النواة العملاقة
حقيقة رئيسية #2على H100 تفوّق الوكلاء وmulti-kernels على النوى العملاقة القديمة بما يصل إلى 1,7 مرة: أكثر من 1100 توكن/ث
حقيقة رئيسية #3راية freezing في Inductor سرّعت الدفعات الكبيرة بنسبة 10–26%، لكنها أبطأت الدفعة ذات الحجم 1 بنسبة 49%

قبل عام، تباهت Together AI بالنوى العملاقة: كان التمرير الأمامي للنموذج بأكمله يُنفَّذ في نواة GPU ضخمة واحدة، وكانت السرعة قياسية. أما الآن فيكتب الفريق نفسه أنه لم يعد بحاجة إلى النوى العملاقة. وبدلًا منها أطلقت الشركة Together Compiler، وهو نظام يعيد فيه وكلاء الذكاء الاصطناعي كتابة نوى النموذج ودمجها. على NVIDIA B200 يحقق النظام 2118 توكن في الثانية على Llama 3.2 1B، بينما تحقق النواة العملاقة اليدوية 1649. الفارق 28%. وبالنسبة لمن يدفع مقابل الاستدلال (inference)، فإن فائدة هذه القصة لا تكمن في الرقم القياسي، بل في تحليل المصدر الفعلي للسرعة.

لماذا لم تصل النواة العملاقة إلى بيئة الإنتاج

حلّت النواة العملاقة ثلاث مشكلات في الاستدلال التقليدي. الأولى هي كلفة إطلاق كل نواة. ففي PyTorch يكلّف استدعاء واحد لـ down-projection على H100 نحو 37 ميكروثانية من الجدولة، مقابل 15 ميكروثانية فقط من عمل GPU نفسه. وحتى C++ الخالصة تضيف نحو 2 ميكروثانية لكل إطلاق، وفي تمرير واحد تبلغ عمليات الإطلاق هذه المئات. المشكلة الثانية غياب التداخل: كان بالإمكان تحميل أوزان الطبقة التالية أثناء حساب الطبقة الحالية. والثالثة عدم توازن الحمل على المعالجات المتعددة (SM): بعضها ينهي عمله قبل غيره ويبقى خاملًا.

على Llama 1B حققت النواة العملاقة 990 توكن/ث مقابل 669 لـ Torch Inductor القياسي، أي بزيادة 48%. لكن الوضع في الإنتاج كان أسوأ. فقد أمضى باحث واحد عدة أشهر في 2025 في دمج paged KV-cache ونقل الشيفرة إلى Blackwell ومعالجة تعارضات الوصول إلى البيانات (data races). ويلخّص المؤلفون الحصيلة هكذا: نموذج واحد، وحجم دفعة واحد (1)، ودقة واحدة (BF16)، وعميل واحد. السرعة ممتازة، لكن لا مرونة.

عندئذٍ سلك الفريق الطريق المعاكس: أخذ Torch Compile بسرعة 669 توكن/ث وفعّل تحسينات النواة العملاقة واحدًا تلو الآخر. أضاف CUDA Graphs فأصبحت كلفة الإطلاق نحو ميكروثانية واحدة، وارتفعت النتيجة إلى 864 توكن/ث، أي 87% من سرعة النواة العملاقة. ثم أضاف PDL (آلية من NVIDIA لتداخل النوى المتجاورة) على نوى Inductor القياسية، فوصل إلى 98% من سرعة النواة العملاقة دون كتابة أي نواة خاصة.

أين يفقد المترجم القياسي سرعته

درس الفريق Inductor على Llama 1B ووجد ثلاثة مواضع ضعف.

أولًا: لا تختار الأساليب الاستدلالية (heuristics) أفضل إعداد للحمل المعين. يضم Inductor بالفعل 607 رايات ضبط، أُضيفت 198 منها خلال العام الأخير. تسرّع راية freezing الدفعات الكبيرة بنسبة 10–26%، لكنها تُبطئ الدفعة ذات الحجم 1 بنسبة 49%، لأن الأوزان تبقى بصيغة 32 بت فيقرأ GPU ضعف كمية البيانات. كما تؤثر الرايات في بعضها: فقد خفّضت aggressive_fusion وحدها السرعة بمقدار 6 توكن/ث، بينما أضافت 3 عند استخدامها مع ثلاث رايات أخرى.

ثانيًا: تقيس معايير Inductor النوى كلًّا على حدة، مع تفريغ ذاكرة L2 المؤقتة، بينما تكون البيانات في التمرير الفعلي موجودة غالبًا في الذاكرة المؤقتة أصلًا. وتبيّن أن القياسات المعزولة أبطأ بنسبة 39–58% من القياسات الحية. والأسوأ أنه في اختبار embedding تُهيَّأ التوكنات بأصفار، فتبدو النواة أسرع 2,1 مرة مما هي عليه مع بيانات عشوائية. ونتيجة لذلك اختار Inductor لـ output-projection نواة Triton بزمن 7,4 ميكروثانية بدلًا من cuBLAS بزمن 6,4 ميكروثانية، أي أبطأ بنسبة 15%. وعلى نموذج MoE المسمى GLM 5.3، بالغت المدخلات العشوائية في المعيار في تقدير زمن grouped-GEMM بنسبة 4–21%.

ثالثًا: الدمج الزوجي الجشع. لا تُدمج نواتان متجاورتان لأنهما لا تتشاركان الذاكرة. لكن الأولى تطلق 6 كتل فقط على GPU يضم 132 SM، فتبقى الشريحة كلها تقريبًا خاملة. ينبغي لخوارزمية الدمج أن تراعي الحمل، لا حركة الذاكرة وحدها.

ماذا يعني ذلك عمليًا

ثمة ثلاثة استنتاجات مهمة للإنتاج. أولًا، قبل كتابة نوى مخصصة، فعّلوا CUDA Graphs وPDL: فبحسب قياسات Together، يعيد ذلك تقريبًا كل سرعة النواة العملاقة. ثانيًا، لا تثقوا برايات المترجم بشكل أعمى: فالراية نفسها تتصرف بشكل مختلف مع أحجام الدفعات المختلفة، ولذلك يلزم بحث منهجي لا تخمين. ثالثًا، يجب أن يجري القياس داخل تمرير حقيقي وعلى بيانات واقعية، خصوصًا مع MoE، حيث يحدد المُدخل التوجيه.

ومع الوكلاء وmulti-kernels، تفوّق الفريق على نواه العملاقة القديمة بما يصل إلى 1,7 مرة، وحصل على أكثر من 1100 توكن/ث على Llama 1B على H100. وفكرة Together Compiler هي أن يبحث الوكلاء باستمرار عن صيغ دمج وإعدادات جديدة تناسب نموذجًا وعتادًا وحجم دفعة محددة، بدلًا من الاعتماد على تنفيذ يدوي واحد.

ثمة تحفظات. جميع الأرقام هي قياسات الشركة نفسها، وقد أُجريت على نموذج صغير جدًا (1B) تكون فيه كلفة الإطلاق ثقيلة بشكل خاص. وعلى النماذج الأكبر قد يكون المكسب أقل، ولذلك ينبغي التحقق من النتيجة على حملكم الخاص. ومع ذلك فالاتجاه واضح: تبقى النوى العملاقة اليدوية أداة بحثية، أما في الإنتاج فيتفوّق البحث الآلي في فضاء التحسينات.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لم تصل النواة العملاقة إلى بيئة الإنتاج؟

حلّت النواة العملاقة ثلاث مشكلات في الاستدلال التقليدي. الأولى هي كلفة إطلاق كل نواة. ففي PyTorch يكلّف استدعاء واحد لـ down-projection على H100 نحو 37 ميكروثانية من الجدولة، مقابل 15 ميكروثانية فقط من عمل GPU نفسه. وحتى C++ الخالصة تضيف نحو 2 ميكروثانية لكل إطلاق، وفي تمرير واحد تبلغ عمليات الإطلاق هذه المئات. المشكلة الثانية غياب التداخل: كان بالإمكان تحميل أوزان الطبقة التالية أثناء حساب الطبقة الحالية. والثالثة عدم توازن الحمل على المعالجات المتعددة (SM): بعضها ينهي عمله قبل غيره ويبقى خاملًا.

ما أبرز التفاصيل حول أين يفقد المترجم القياسي سرعته؟

درس الفريق Inductor على Llama 1B ووجد ثلاثة مواضع ضعف. أولًا: لا تختار الأساليب الاستدلالية (heuristics) أفضل إعداد للحمل المعين. يضم Inductor بالفعل 607 رايات ضبط، أُضيفت 198 منها خلال العام الأخير. تسرّع راية freezing الدفعات الكبيرة بنسبة 10–26%، لكنها تُبطئ الدفعة ذات الحجم 1 بنسبة 49%، لأن الأوزان تبقى بصيغة 32 بت فيقرأ GPU ضعف كمية البيانات. كما تؤثر الرايات في بعضها: فقد خفّضت aggressive_fusion وحدها السرعة بمقدار 6 توكن/ث، بينما أضافت 3 عند استخدامها مع ثلاث رايات أخرى.

ما أبرز التفاصيل حول ماذا يعني ذلك عمليًا؟

ثمة ثلاثة استنتاجات مهمة للإنتاج. أولًا، قبل كتابة نوى مخصصة، فعّلوا CUDA Graphs وPDL: فبحسب قياسات Together، يعيد ذلك تقريبًا كل سرعة النواة العملاقة. ثانيًا، لا تثقوا برايات المترجم بشكل أعمى: فالراية نفسها تتصرف بشكل مختلف مع أحجام الدفعات المختلفة، ولذلك يلزم بحث منهجي لا تخمين. ثالثًا، يجب أن يجري القياس داخل تمرير حقيقي وعلى بيانات واقعية، خصوصًا مع MoE، حيث يحدد المُدخل التوجيه.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…