Avito تبني Aviflow: منصة ML للتدريب الموزّع للنماذج اللغوية الكبيرة على خوادم HGX

انتقلت Avito من أجهزة مخصصة يُدخل إليها عبر SSH إلى منصتها السحابية الأصلية (cloud-native) Aviflow، التي تُدرَّب عليها النماذج اللغوية الكبيرة. يعمل بافيل، كبير مطوّري منصة ML، في مجال MLOps منذ عام ونصف. قدّم عرضًا في مؤتمر Kuber Conf ثم أعاد صياغته في مقال على Habr. يَعِد العنوان بـ«تدريب LLM بنقرة واحدة» على خوادم HGX. ينقطع الجزء الظاهر من المادة عند تاريخ المنصة، لذا لا توجد حتى الآن أرقام محددة عن عدد العقد ووحدات GPU. لكن المقال يصف جيدًا مسار التطور الذي تمر به شركات كثيرة مع نمو فرق ML لديها.

كيف بدأ الأمر: DevBox وSSH

حين كان عدد علماء البيانات في Avito قليلًا، كان كل منهم يعمل بمجموعة أدواته الخاصة. وكان DevBox هو الأداة الرئيسية، وهو جهاز مخصص. يدخل المختص إليه عبر SSH، ويجمع مجموعات البيانات، ويدرّب النماذج، وينجز بقية العمل يدويًا. ما دام عدد الأشخاص قليلًا، يبقى هذا الأسلوب مقبولًا. فالجهاز مخصص لشخص بعينه، ولا تنشأ نزاعات على الموارد، ويعالج مشرف واحد أي مشكلة.

ثم ازداد عدد المختصين والأقسام. صار الزملاء يحجزون الأجهزة بالكامل وينفّذون المهام يدويًا. وتبقى وحدات GPU معطّلة بين عمليات التشغيل، وتتحول الطوابير إلى مراسلات في المحادثات.

LLM زادت الفوضى

فوق ذلك، أضافت الشركة نماذج LLM. وبحسب المؤلف، لهذه النماذج أدواتها الخاصة، ولم تجعل الحياة أسهل. ويتضح السبب من طبيعة المهمة نفسها. فالنموذج لا يتسع في بطاقة واحدة أو يستغرق تدريبه وقتًا طويلًا جدًا، لذلك تلزم عدة وحدات GPU، وغالبًا على عدة عقد. عندها يتوقف DevBox عن العمل كوحدة موارد. وتلزم أدوات جدولة، وعزل للبيئات، وعمليات تشغيل قابلة للتكرار، وتقارير واضحة عن الاستخدام.

اسم جواب Avito هو Aviflow. إنها منصة سحابية أصلية (cloud-native) يُوصف فيها التدريب بوصفه مهمة، لا مجموعة إجراءات يدوية على جهاز بعينه.

لماذا HGX وKubernetes

HGX منصة خوادم مرجعية من NVIDIA، تضم عادةً ثماني وحدات GPU مرتبطة عبر ناقل NVLink عالي السرعة من خلال NVSwitch. وفي التدريب الموزّع يكتسب الترابط هذا أهمية خاصة. إذ يجب مزامنة التدرجات بسرعة، وإلا انتظرت وحدات GPU بعضها بعضًا. أُلقي العرض في Kuber Conf، ما يعني أن التنسيق (orchestration) مبني حول Kubernetes، وأن خوادم HGX تتحول إلى مجمّع موارد لا إلى أجهزة شخصية.

أبرز الحقائق من الجزء المتاح من المادة:

• المؤلف: بافيل، كبير مطوّري منصة ML في Avito، وله عام ونصف في MLOps.
• المنصة: Aviflow، سحابية أصلية (cloud-native).
• سابقتها: DevBox، أجهزة مخصصة يُدخل إليها عبر SSH.
• العتاد: خوادم HGX.
• المهمة: التدريب الموزّع للنماذج اللغوية الكبيرة (LLM).
• الصيغة: عرض في Kuber Conf وتحليل على Habr، ويتوافر تسجيل مرئي.

ما الذي يمكن الاستفادة منه

تعرض تجربة Avito مسارًا نمطيًا، ويمكن أن يقيس عليه كل فريق وضعه. إذا كان المختصون يتفقون على استخدام GPU عبر تطبيق مراسلة، فالمنصة لازمة بالفعل. وإذا كان تشغيل التدريب يتطلب SSH، فقد حان وقت الانتقال إلى وصف المهام بصيغة تصريحية (declarative). وإذا ظهرت LLM في الفريق كجزيرة منفصلة، فمن الأفضل أن يُحسم مسبقًا كيف ستعمل مهامها داخل العنقود المشترك.

الترتيب العملي للخطوات كالتالي: أولًا مجمّع GPU مشترك وطابور، ثم بيئات موحّدة، ثم التشغيل الموزّع والمراقبة. والبدء بـ«الزر» لا معنى له إذا لم يكن تحته احتساب للموارد.

ولمعرفة التفاصيل، ومنها بنية Aviflow ومخطط الجدولة والنتائج، ينبغي قراءة النص الكامل على Habr أو مشاهدة تسجيل العرض. فهناك يُفترض أن توجد أرقام الاستخدام وسرعة التشغيل، وهي غير موجودة في الجزء التمهيدي المنشور.