ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارMeta Engineering→ المصدر

Meta تكشف تفاصيل Prometheus: عنقود بقدرة غيغاواط يدرّب النماذج بأكثر من 85% من الوقت الفعلي المنتج

عرضت Meta من الداخل عنقود Prometheus، وهو عنقود بقدرة غيغاواط في أوهايو دُرّبت عليه نماذج Muse. فعندما تتعطل بطاقة واحدة أثناء التدريب على آلاف وحدات GPU، تتوقف المهمة كلها، كما يتوقف خط الإنتاج بأكمله بسبب آلة واحدة. لذلك تقيس Meta مؤشر goodput، أي نسبة الوقت الذي يدرّب فيه العنقود النموذج فعلاً: وبلغت هذه النسبة لدى Muse Wonder أكثر من 85% في التدريب المسبق وأكثر من 90% في RL. الخلاصة: على هذا النطاق يهمّ احتياطي وحدات GPU ومكافحة الأعطال أكثر من عددها المجرد.

معالج بواسطة الذكاء الاصطناعي من Meta Engineering؛ بتحرير Hamidun News
Meta تكشف تفاصيل Prometheus: عنقود بقدرة غيغاواط يدرّب النماذج بأكثر من 85% من الوقت الفعلي المنتج
المصدر: Meta Engineering. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليMeta Engineering ↗
رئيس التحرير
حالياًمئات الآلاف من وحدات GPU، وفي النسخة الكاملة سيصل العدد إلى نحو مليون
حقيقة رئيسية #2في الرف الواحد المكوّن من 72 وحدة GPU تعمل 64 وحدة في التدريب، وتنتظر 8 وحدات أخرى كاحتياطي ساخن
متوسط الزمن بين التوقفات47 ألف ساعة GPU، وبعد تحديثات البرامج الثابتة 54 ألفاً

عندما يدور الحديث عن سباق مختبرات الذكاء الاصطناعي، يُحصي الناس عادةً وحدات GPU والميغاواطات. لكن للمهام التدريبية الكبيرة خاصية مزعجة: فهي تعمل كخط إنتاج يؤدي توقف آلة واحدة فيه إلى إبطاء الخط كله. فإذا تعطل شيء على خادم واحد من آلاف الخوادم، تتأثر المهمة بأكملها. وقد نشرت Meta Engineering تحليلاً لـ Prometheus، وهو عنقود فائق بقدرة نحو غيغاواط في نيو ألباني بولاية أوهايو، دُرّبت عليه عائلة النماذج الجديدة Muse. والمقياس الرئيسي هنا هو goodput، أي نسبة الوقت الذي يدرّب فيه العنقود النموذج فعلاً، لا الوقت الذي يقضيه خاملاً أو في التعافي من عطل. وقد تجاوزت هذه النسبة 85% في التدريب المسبق لنموذج Muse Wonder، و90% في التعلم المعزز (RL).

ما هذه المنظومة وممَّ تتكوّن

قبل عامين كان موقع نيو ألباني مركز بيانات عادياً لحركة الويب. ثم أُعيد تجهيزه لتدريب النماذج المتقدمة. واليوم يضم Prometheus مئات الآلاف من وحدات GPU موزعة على عدة مبانٍ مترابطة، منها مبانٍ تقليدية وأخرى مُحسَّنة خصيصاً للذكاء الاصطناعي وأخرى سريعة التشييد. وتتصل كلها بكيلومترات من الألياف الضوئية وتعمل كآلة واحدة. المرحلة الأولى جاهزة بالفعل، ومن المقرر أن ينمو العنقود بكامل حجمه إلى نحو مليون وحدة GPU. ويعتمد التبريد على دارة سائلة مغلقة.

يضم العنقود حالياً منصتين من Nvidia، والثالثة في الطريق. المنصة الأولى، Catalina، مبنية على GB200 NVL72: ترتبط فيها 72 وحدة GPU عبر NVLink في نطاق واحد، وتبلغ ذاكرة HBM3e فيها 13,4 تيرابايت (192 غيغابايت لكل وحدة GPU)، وأداؤها 720 بيتافلوبس في FP8، واستهلاكها نحو 120 كيلوواط لكل منظومة. واختارت Meta نسخة Ariel ببطاقتي شبكة بسرعة 400G لكل وحدة GPU، أي 800G لكل بطاقة رسومية. وترى الشركة أن GB200 تفوّق على H100 في جميع المعايير ما عدا الشبكة، وأن هذا الاختلال كان سيكلّف أداءً.

أما المنصة الثانية، Clemente، فتعتمد على GB300 NVL72: ذاكرة 288 غيغابايت لكل وحدة GPU (أكثر بنسبة 50%)، وأداء يتجاوز إكسافلوبس في FP4، وتتسع كل وحدات GPU الـ72 في رف واحد. وتأتي شبكة 800G لكل وحدة GPU هنا جاهزة «من العلبة»، مع كابلات أقل وصيانة أسهل. أما التبريد فهو هوائي-سائلي معياري، أو سائلي مصنعي إذا كان المبنى جديداً.

الشبكة: على وحدات GPU أن تتحدث لا أن تنتظر

يُمرّر مركز البيانات العادي الطلبات والردود بين خدمات لا تحتاج إلى تزامن صارم. أما التدريب فيحتاج إلى هذا التزامن بالذات، ولذلك أضافت Meta قبل بضع سنوات شبكة Ethernet ثانية مخصصة للاتصال المباشر بين وحدات GPU. وداخل المبنى الواحد، تربط كل واحدة من هذه الشبكات ما يصل إلى 20 736 وحدة GPU. استخدمت الشركة في البداية Disaggregated Scheduled Fabric التي توزّع تدفقات البيانات الكبيرة طويلة الأمد كي لا تتصادم. وحين تعلّمت بطاقات الشبكة إعادة ترتيب الحزم بنفسها، انتقلت إلى Non-Scheduled Fabric مع مبدّلات 51,2T.

وبين المباني تعمل شبكة تجميعية على هياكل Arista 7800 برقائق Broadcom Jericho3، تتراوح أطوال خطوطها بين 2 وأكثر من 100 كم. وعلى مثل هذه المسافات تصبح سرعة الضوء عائقاً، ولذلك اختارت Meta مع Superintelligence Labs نمط توازٍ يُبقي الحركة الحساسة للتأخير داخل نسخة واحدة من النموذج. أما بين النسخ فيمرّ ما يتحمل التأخير بسهولة أكبر. وفي المجمل تضم الشبكة عشرات الآلاف من المبدّلات وملايين الوحدات الضوئية.

الموثوقية: وحدات GPU احتياطية وتحليل كل توقف

أدى الانتقال من NVL8 إلى NVL72 إلى مضاعفة «نصف قطر الضرر» الناجم عن عطل واحد تسع مرات: فبدلاً من ثماني وحدات GPU في النطاق المترابط أصبحت هناك 72. ولذلك صار الرف وحدة التخطيط الأساسية. ومن الأنسب تقسيم التدريب إلى مجموعات بحسب قوى العدد 2، فتعمل في كل رف 64 وحدة GPU، وتبقى الوحدات الثماني الأخرى احتياطياً ساخناً. وإذا تعطلت بطاقة، تحلّ محلها بطاقة احتياطية، وتُعاد المهمة من آخر نقطة تحقق (checkpoint) دون انتظار الإصلاح.

ولأعطال الرف الكامل النادرة، تحتفظ Meta أيضاً بنحو 2% من الرفوف احتياطاً. وتتطلب عملية تدريب على 32 768 وحدة GPU نشطة 523 رف NVL72، أي 37 656 وحدة GPU، أي نحو 13% فوق القدرة النشطة. ومن هذه الـ13% يعود أكثر من 11% إلى هندسة «64 من 72» لا إلى ضريبة الموثوقية.

ويتفاقم التعقيد من الناحية المادية أيضاً: ففي نطاق NVL72 الواحد 5 184 وصلة اتصال بسرعة 200 غيغابت/ثانية، ويمكن لكل منها أن تتعطل في عدة مواضع: في SerDes الخاصة بوحدة GPU، أو في لوحة صينية الحوسبة، أو في خراطيش الكابلات، أو في واجهات المبدّل.

وتصف Meta بشكل منفصل نموذج عملها مع Nvidia. فمهندسو المورّد يعملون داخل مراكز البيانات مباشرةً، ويتبادلون القياسات عن بُعد (telemetry)، ويحلّلون كل توقف حتى الوصول إلى السبب الجذري. وتتولى Meta التخطيط والبنية التحتية، بينما تتولى Nvidia البرامج الثابتة وتشخيص الإشارات والعمل مع الذاكرة. وتقلّل هذه الشفافية الجدل حول الطرف المسؤول، وتُسرّع الإصلاحات.

النتيجة: بلغ متوسط الزمن بين التوقفات (MTBI) في عمليات تدريب Muse Wonder نحو 47 ألف ساعة GPU، ثم ارتفع بعد تحديثات البرامج الثابتة على الأسطول كله إلى أكثر من 54 ألفاً.

ماذا يعني ذلك

أما من يبني بنية تحتية خاصة به للذكاء الاصطناعي، فالدرس بسيط: حجم العنقود نصف المعادلة فقط. فالاحتياطي في كل رف، وإعادة التشغيل السريعة من نقاط التحقق، وتحليل التوقفات بحسب أسبابها، هي ما يُبقي goodput فوق 85–90%. وثمة تحفظ هنا: جميع الأرقام تنشرها Meta نفسها، ولا يوجد تحقق مستقل. لكن المنطق ذاته ينطبق على العناقيد الأصغر: احسبوا نسبة ساعات GPU المدفوعة التي تذهب فعلاً إلى التدريب، وعالجوا أسباب التوقف.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما هذه المنظومة وممَّ تتكوّن؟

قبل عامين كان موقع نيو ألباني مركز بيانات عادياً لحركة الويب. ثم أُعيد تجهيزه لتدريب النماذج المتقدمة. واليوم يضم Prometheus مئات الآلاف من وحدات GPU موزعة على عدة مبانٍ مترابطة، منها مبانٍ تقليدية وأخرى مُحسَّنة خصيصاً للذكاء الاصطناعي وأخرى سريعة التشييد. وتتصل كلها بكيلومترات من الألياف الضوئية وتعمل كآلة واحدة. المرحلة الأولى جاهزة بالفعل، ومن المقرر أن ينمو العنقود بكامل حجمه إلى نحو مليون وحدة GPU. ويعتمد التبريد على دارة سائلة مغلقة. يضم العنقود حالياً منصتين من Nvidia، والثالثة في الطريق.

ما أبرز التفاصيل حول الشبكة: على وحدات GPU أن تتحدث لا أن تنتظر؟

يُمرّر مركز البيانات العادي الطلبات والردود بين خدمات لا تحتاج إلى تزامن صارم. أما التدريب فيحتاج إلى هذا التزامن بالذات، ولذلك أضافت Meta قبل بضع سنوات شبكة Ethernet ثانية مخصصة للاتصال المباشر بين وحدات GPU. وداخل المبنى الواحد، تربط كل واحدة من هذه الشبكات ما يصل إلى 20 736 وحدة GPU. استخدمت الشركة في البداية Disaggregated Scheduled Fabric التي توزّع تدفقات البيانات الكبيرة طويلة الأمد كي لا تتصادم. وحين تعلّمت بطاقات الشبكة إعادة ترتيب الحزم بنفسها، انتقلت إلى Non-Scheduled Fabric مع مبدّلات 51,2T.

ما أبرز التفاصيل حول الموثوقية: وحدات GPU احتياطية وتحليل كل توقف؟

أدى الانتقال من NVL8 إلى NVL72 إلى مضاعفة «نصف قطر الضرر» الناجم عن عطل واحد تسع مرات: فبدلاً من ثماني وحدات GPU في النطاق المترابط أصبحت هناك 72. ولذلك صار الرف وحدة التخطيط الأساسية. ومن الأنسب تقسيم التدريب إلى مجموعات بحسب قوى العدد 2، فتعمل في كل رف 64 وحدة GPU، وتبقى الوحدات الثماني الأخرى احتياطياً ساخناً. وإذا تعطلت بطاقة، تحلّ محلها بطاقة احتياطية، وتُعاد المهمة من آخر نقطة تحقق (checkpoint) دون انتظار الإصلاح. ولأعطال الرف الكامل النادرة، تحتفظ Meta أيضاً بنحو 2% من الرفوف احتياطاً.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…