OpenAI تكشف عن MRC: بروتوكول شبكي لتدريب عناقيد الذكاء الاصطناعي على 100 ألف GPU

كشفت OpenAI عن MRC، وهو بروتوكول شبكي جديد للحواسيب العملاقة التي تُدرَّب عليها نماذج الذكاء الاصطناعي الكبيرة. وبحسب الشركة، نُشر البروتوكول بالفعل في جميع عناقيدها الكبرى المبنية على NVIDIA GB200، بما في ذلك موقع OCI في أبيلين وأنظمة Microsoft Fairwater، ويساعد على الحفاظ على الأداء حتى عند حدوث أعطال في الروابط والمحوّلات.

لماذا ظهرت الحاجة إلى MRC

لا يتوقف تدريب نماذج frontier عند حدود وحدات GPU نفسها، بل تحدّه أيضًا الشبكة التي تربط بينها. ففي كل خطوة تدريب تجري ملايين عمليات تبادل البيانات، وإذا وصلت حزمة واحدة أو تدفق واحد متأخرًا بشكل ملحوظ عن البقية، بدأ جزء من المسرّعات يقف دون عمل. وفي العناقيد الصغيرة يمكن احتمال مثل هذه التأخيرات، لكنها تتحول في أنظمة بحجم Stargate إلى مشكلة بنيوية: فكلما زاد عدد العُقد ارتفع احتمال الازدحام وتذبذب زمن التأخير والأعطال في العتاد.

ولم تعد هذه المسألة بالنسبة إلى OpenAI مهمة هندسية ثانوية. فالشركة تذكر أن أكثر من 900 مليون شخص يستخدمون ChatGPT أسبوعيًا، ما يعني أن البنية التحتية الحاسوبية أصبحت الطبقة الأساسية للخدمة. ولذلك أعاد فريق الشركة، بالتعاون مع AMD وBroadcom وIntel وMicrosoft وNVIDIA، بناء المكدس الشبكي على مدى العامين الماضيين، بحيث لا يوفّر سرعة عالية فحسب، بل سلوكًا يمكن التنبؤ به تحت الحِمل وعند حدوث أعطال جزئية.

كيف صُمّمت الشبكة

الفكرة الأساسية في MRC هي عدم التعامل مع واجهة الشبكة على أنها أنبوب واحد كبير بسعة 800 Gbit/s. وبدلًا من ذلك، تقسّمها OpenAI إلى عدة قنوات أصغر، مثلًا ثمانية خطوط بسعة 100 Gbit/s لكل منها، يتجه كل خط إلى محوّل مستقل. وينتج عن ذلك شبكة متعددة المستويات المتوازية (multi-plane)، يمكن فيها تمرير حركة البيانات نفسها عبر عدد كبير من المسارات المستقلة.

وبحسب تقدير OpenAI، تتيح هذه التهيئة بناء شبكة تضم نحو 131 ألف GPU بمستويين فقط من محوّلات Ethernet، في حين كان المخطط التقليدي بسعة 800 Gbit/s سيتطلب ثلاثة مستويات أو أربعة.

بعد ذلك يأتي دور البروتوكول نفسه، الذي يوسّع حزمة RoCE المعروفة لتناسب مهام تدريب الذكاء الاصطناعي. فبدلًا من إرسال عملية التبادل كاملة عبر مسار واحد، «يرشّ» MRC حزم عملية النقل الواحدة على مئات المسارات في وقت واحد. وقد تصل الحزم بترتيب مختلف، لكن ذلك مقبول، لأن كل حزمة تحمل عنوان وجهتها النهائي في الذاكرة، ويوزّع المستقبِل البيانات في أماكنها فور وصولها. وبذلك تستخدم الشبكة القنوات المتاحة بتوازن أكبر، وتتحمّل الازدحام الموضعي بصورة أفضل بكثير.

• تُقسَّم عملية التبادل الواحدة إلى مسارات متوازية عديدة عبر مستويات شبكية مختلفة
• عند ظهور مؤشرات ازدحام، يزيل البروتوكول المسار المتأزم ويستبدله بمسار آخر
• عند فقدان حزمة، يفترض MRC سريعًا حدوث عطل ويعيد إرسال البيانات
• إذا فُقدت الحزمة بسبب ازدحام عند جهة الاستقبال، يساعد packet trimming، أي إرسال الترويسة وحدها لتقديم طلب صريح بإعادة الإرسال

وتؤكد OpenAI بشكل خاص أن MRC قادر على تجاوز الأعطال الشبكية على مقياس الميكروثانية، بينما كانت إعادة بناء المسارات في الشبكة التقليدية قد تستغرق ثواني، أو حتى عشرات الثواني. ويكتسب ذلك أهمية خاصة في التدريب المتزامن، حيث تتحدد مدة خطوة الحوسبة كلها بأبطأ عملية نقل في العنقود، لا بمتوسطها. ومع هذا التوازن يمكن لعدة مهام أن تتشارك العنقود نفسه بمخاطر أقل لأن تعيق إحداها الأخرى.

ما الذي يتغير في التشغيل

هناك تحول مهم آخر يتمثل في التخلي عن التوجيه الديناميكي المعتاد لصالح source routing المبني على SRv6. ففي الشبكة التقليدية تعيد المحوّلات حساب المسارات بنفسها عبر بروتوكولات مثل BGP، ما يضيف تعقيدًا وفئات جديدة من الأعطال. أما في MRC فيرمّز المُرسِل مسار الحزمة بنفسه داخل عنوان IPv6، بينما تكتفي المحوّلات بتنفيذ هذا المسار تباعًا وفق جداول ثابتة. وتبدو الفكرة جذرية، لكنها، بحسب OpenAI، هي التي تبسّط مستوى التحكم وتلغي الحاجة إلى معالجة المنطق الشبكي يدويًا وباستمرار.

الممارسة العملية أهم لدى OpenAI من النظرية، وللشركة هنا أرقام محددة. فهي تذكر أن شبكات التدريب لديها تتألف من ملايين الروابط، وأنه قد تحدث في عمليات التشغيل الفعلية انقطاعات قصيرة متعددة كل دقيقة بين محوّلات tier-0 وtier-1، دون تأثير قابل للقياس على التدريب المسبق المتزامن (pretraining). وخلال تدريب أحد نماذج frontier الحديثة لـ ChatGPT وCodex، اضطر المهندسون إلى إعادة تشغيل أربعة محوّلات من tier-1، ولم يتطلب ذلك أي تنسيق مع الفرق التي كانت تجري التدريب في تلك اللحظة. وإذا تعطل منفذ واحد في واجهة شبكية ذات ثمانية منافذ، فإن عرض النطاق ينخفض بحد أقصى الثُّمن، لكن المهمة تواصل العمل ولا تتوقف بالكامل.

ماذا يعني ذلك

يُظهر MRC أن سباق بناء النماذج القوية ينتقل بصورة متزايدة إلى البنية التحتية. فـ OpenAI لا تكتفي بتسريع التدريب في عناقيدها، بل تنقل البروتوكول إلى Open Compute Project في محاولة لتحويل حلها الهندسي الخاص إلى معيار صناعي. وإذا تبنّت مختبرات أخرى ومزوّدو خدمات سحابية هذا النهج، فستصبح عناقيد الذكاء الاصطناعي الكبيرة أرخص وأسهل في التشغيل وأكثر قدرة على تحمّل الأعطال، دون ضبط يدوي مستمر للشبكة.