ثماني وحدات GPU قلّصت التدريب من 32 إلى 5 أيام، لكن كلفتها ارتفعت 25% بحساب ساعات GPU
إذا كان تدريب النموذج يستغرق 32 يومًا على بطاقة رسومية (GPU) واحدة، يبدو منطقيًا أن تستخدم ثماني بطاقات لإنجازه في 4 أيام. لكن النتيجة الفعلية كانت 5 أيام: تضيع البطاقات وقتًا في تبادل التدرجات (gradients) وفي انتظار بعضها بعضًا، ولذلك بلغت كفاءة التوسّع 80% وليس 100%. وفي المقابل ارتفع الاستهلاك من 768 إلى 960 ساعة GPU، أي بنسبة 25%: أسرع، لكنه أغلى. لذلك، قبل شراء بطاقات إضافية، حلّلوا أداء التدريب (profiling) وقارنوا مكسب السرعة بارتفاع الفاتورة.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
تخيّلوا أن نموذجكم يتدرّب على بطاقة رسومية (GPU) واحدة لمدة 32 يومًا. توصلون ثماني بطاقات — وضع Multi-GPU — وتتوقعون إنجاز التدريب في 4 أيام، لكنه يستغرق 5. فالبطاقات تهدر وقتًا في تبادل التدرجات (التعديلات التي يتعلّم النموذج بناءً عليها) وفي نقل البيانات وفي انتظار أبطأ البطاقات المجاورة. لذلك بلغ التسريع 6.4 مرة بدلًا من 8، أي أن كفاءة التوسّع 80%. أما ساعات GPU المدفوعة فصارت 960 بدلًا من 768، بزيادة 25%. انتهى التدريب قبل 27 يومًا من الموعد السابق، لكنه أصبح أغلى. نشرح أدناه مصدر هذه الخسائر وكيف تقرّرون ما إذا كنتم بحاجة إلى بطاقات إضافية.
لماذا لا تمنح ثماني بطاقات تسريعًا بمقدار ثمانية أضعاف
إذا كنتم تدرّبون النماذج، فستصطدمون عاجلًا أم آجلًا بإحدى مشكلتين: التدريب يستغرق وقتًا طويلًا جدًا، أو النموذج لا يعود يتّسع في ذاكرة الفيديو. ورد الفعل الطبيعي هو إضافة بطاقات رسومية. لكن Multi-GPU ليس تسريعًا مجانيًا: كل بطاقة جديدة تجلب معها تكاليف إضافية، وسيكون ثمنها وقتًا ومالًا.
لنحسب على المثال الافتراضي الوارد في المصدر. التسريع (Speedup): 32 / 5 = 6.4. كفاءة التوسّع (Scaling Efficiency): 6.4 / 8 × 100% = 80%. والآن الجانب المحاسبي. بطاقة واحدة لمدة 32 يومًا تعادل 768 ساعة GPU. وثماني بطاقات لمدة 5 أيام تعادل 960 ساعة GPU، أي بزيادة 192 ساعة. وبافتراض ثبات سعر الساعة، صار التدريب أغلى بنسبة 25%، لكنه انتهى قبل 27 يومًا. إذا كان الموعد النهائي أهم من الميزانية، فالصفقة مجدية؛ وإن لم يكن كذلك، فالساعات الزائدة هدر بلا فائدة.
أربعة أساليب ونقطة الضعف في كلٍّ منها
Data Parallelism (PyTorch DDP). تحمل كل وحدة GPU نسخة كاملة من النموذج، وتعالج كل واحدة جزءًا من الدفعة (batch). وفي المرور العكسي تزامن العمليات التدرجات عبر عملية All-Reduce. يستطيع DDP تداخل التبادل مع الحسابات، لكن مع الدفعات الصغيرة يستغرق الاتصال وقتًا مساويًا لوقت الحسابات نفسها، فيتلاشى المكسب.
Tensor Parallelism. تُقسَّم معاملات الطبقات المنفردة وحساباتها بين البطاقات، وتتبادل البطاقات النتائج الوسيطة باستمرار. لذلك يعتمد الأداء بدرجة كبيرة على قنوات الاتصال: PCIe وNVLink وطوبولوجيات NVSwitch.
Pipeline Parallelism. تُوزَّع طبقات النموذج على المسرّعات، وتمر الدفعات الصغيرة (microbatches) عبرها تباعًا. وعندما يمتلئ خط الأنابيب ويفرغ، يتوقف جزء من البطاقات عن العمل. تُسمّى هذه الفترات pipeline bubbles، أي «فقاعات» خط الأنابيب.
FSDP. تُوزَّع المعاملات والتدرجات وحالات المُحسِّن (optimizer) بين البطاقات. ومع التجزئة الكاملة (sharding) يوفّر ذلك ذاكرة الفيديو (VRAM)، لكنه يتطلب عمليتي All-Gather وReduce-Scatter إضافيتين.
قاعدة تقريبية: يناسب DDP الحالة التي يتّسع فيها النموذج على بطاقة واحدة ويلزم فقط تسريع تدريبه. أما FSDP وTensor Parallelism وPipeline Parallelism فتناسب الحالة التي لا يتّسع فيها.
ما الذي يجب فحصه قبل شراء البطاقات أو استئجارها
إذا جاء التسريع أقل من المتوقع، فافحصوا تحميل البيانات، وزمن اتصالات NCCL (مكتبة NVIDIA لتبادل البيانات بين وحدات GPU)، وتوازن الحمل بين العمليات. وإذا كانت البطاقات تنتظر DataLoader، فلن يفيد أي عنقود (cluster). يكشف PyTorch Profiler التأخيرات في الحسابات وفي الاتصالات، ويعرض الأمر nvidia-smi topo -m طوبولوجيا الروابط بين وحدات GPU.
التسلسل العملي كالتالي:
- قيسوا الإنتاجية (throughput، أي سرعة معالجة البيانات) وزمن الخطوة على بطاقة واحدة؛
- كرّروا القياس على عدة بطاقات واحسبوا كفاءة التوسّع؛
- قارنوا مكسب السرعة بزيادة ساعات GPU والتكلفة؛
- وبعد ذلك فقط قرّروا ما إذا كانت الخطوة التالية ضرورية.
أحيانًا يعطي تحسين DataLoader أو تغيير أسلوب التوازي أثرًا أكبر من إضافة مسرّعات.
حدود المثال
كفاءة 80% مجرد توضيح وليست معيارًا مرجعيًا. في المهام الواقعية يتوقف هذا الرقم على حجم النموذج والدفعة والروابط بين البطاقات وجودة الشيفرة. نُشرت المادة في مدونة مزوّد الخدمات السحابية Рег.облако بوصفها تحليلًا استعراضيًا، دون قياسات خاصة بها. لكن المنطق عام: السرعة والتكلفة لا ترتفعان بالتزامن، ومن المفيد لمدير المشروع أن يرى الرقمين معًا، لا مدة التدريب وحدها.
- 19 نوفمبر 2026نموذج DaisyRose-27B المفتوح يحل 12% من مهام Terminal-Bench بدلًا من 5,6%
- 12 أكتوبر 2026DiffusionART يسرّع التدريب بالتعلم المعزز لنماذج الفيديو 12 مرة دون ضبط دقيق لـ EMA
- 13 أكتوبر 2026أسعار الحواسيب المحمولة الصينية في روسيا ترتفع 10% وتعود إلى ذاكرة بسعة 8 غيغابايت
- 17 مايو 2026AWS تطلق حجز وحدات GPU بالساعات: لاختبارات التعلم الآلي والتحضير للإصدارات
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا لا تمنح ثماني بطاقات تسريعًا بمقدار ثمانية أضعاف؟
إذا كنتم تدرّبون النماذج، فستصطدمون عاجلًا أم آجلًا بإحدى مشكلتين: التدريب يستغرق وقتًا طويلًا جدًا، أو النموذج لا يعود يتّسع في ذاكرة الفيديو. ورد الفعل الطبيعي هو إضافة بطاقات رسومية. لكن Multi-GPU ليس تسريعًا مجانيًا: كل بطاقة جديدة تجلب معها تكاليف إضافية، وسيكون ثمنها وقتًا ومالًا. لنحسب على المثال الافتراضي الوارد في المصدر. التسريع (Speedup): 32 / 5 = 6.4. كفاءة التوسّع (Scaling Efficiency): 6.4 / 8 × 100% = 80%. والآن الجانب المحاسبي. بطاقة واحدة لمدة 32 يومًا تعادل 768 ساعة GPU.
ما أبرز التفاصيل حول أربعة أساليب ونقطة الضعف في كلٍّ منها؟
Data Parallelism (PyTorch DDP). تحمل كل وحدة GPU نسخة كاملة من النموذج، وتعالج كل واحدة جزءًا من الدفعة (batch). وفي المرور العكسي تزامن العمليات التدرجات عبر عملية All-Reduce. يستطيع DDP تداخل التبادل مع الحسابات، لكن مع الدفعات الصغيرة يستغرق الاتصال وقتًا مساويًا لوقت الحسابات نفسها، فيتلاشى المكسب. Tensor Parallelism. تُقسَّم معاملات الطبقات المنفردة وحساباتها بين البطاقات، وتتبادل البطاقات النتائج الوسيطة باستمرار. لذلك يعتمد الأداء بدرجة كبيرة على قنوات الاتصال: PCIe وNVLink وطوبولوجيات NVSwitch.
ما أبرز التفاصيل حول ما الذي يجب فحصه قبل شراء البطاقات أو استئجارها؟
إذا جاء التسريع أقل من المتوقع، فافحصوا تحميل البيانات، وزمن اتصالات NCCL (مكتبة NVIDIA لتبادل البيانات بين وحدات GPU)، وتوازن الحمل بين العمليات. وإذا كانت البطاقات تنتظر DataLoader، فلن يفيد أي عنقود (cluster). يكشف PyTorch Profiler التأخيرات في الحسابات وفي الاتصالات، ويعرض الأمر nvidia-smi topo -m طوبولوجيا الروابط بين وحدات GPU.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.