ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

استوديو أعاد تشغيل كلاستر خلال 14 ساعة بعد تعطل Yandex Cloud قبل ترحيل 4 ملايين لاعب

قبل يوم من نقل 4 ملايين لاعب، أخرج هجوم على Yandex Cloud من الخدمة المنطقة التي تستضيف الجزء الروسي من بنية استوديو ألعاب. وبمساعدة Claude Code وصف الفريق خلال ساعات قليلة البنية التحتية لسحابة أخرى، وأعاد تشغيل كلاستر Kubernetes قبل 14 ساعة من موعد البدء. وقبل أسبوع من ذلك، اكتشف الوكيل نفسه جدولًا من 599 صفًا قرأته قاعدة البيانات 310 ملايين مرة. الخلاصة: الأفضل تجهيز سحابة احتياطية مسبقًا لا تأجيل ذلك إلى «وقت لاحق».

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
استوديو أعاد تشغيل كلاستر خلال 14 ساعة بعد تعطل Yandex Cloud قبل ترحيل 4 ملايين لاعب
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
اللعبة4,2 مليون حساب، ونحو 80 ألف لاعب نشط يوميًا
حقيقة رئيسية #2اكتشف Claude Code مسحًا كاملًا لجدول من 599 صفًا نُفِّذ 310 ملايين مرة
حقيقة رئيسية #3بقيت الحاويات (buckets) وCDN في Yandex وانتقلت بعد يومين

تخيّل أنك أمضيت عامًا في تجهيز ترحيل لعبة جوال إلى إصدار جديد، وفي مساء اليوم السابق للانطلاق يختفي الجزء الروسي من بنيتك التحتية بالكامل. هذا ما حدث بالضبط لاستوديو ألعاب. فقد جعل هجوم على Yandex Cloud المنطقة التي تضم كلاستر Kubernetes والحاويات (buckets) وشبكة CDN غير متاحة. كان المطلوب نقل نحو 4 ملايين لاعب، أي 4,2 مليون حساب، يدخل منها يوميًا نحو 80 ألفًا (وهذا هو DAU، أي عدد المستخدمين النشطين خلال اليوم). وروى قائد فريق البنية التحتية كيف استعد الفريق، وأين ساعد Claude Code، وأين أخطأ الفريق بنفسه.

ما الذي جرى ترحيله ولماذا

كان الإصدار القديم من اللعبة نظامًا متراصًّا (monolith) مكتوبًا بلغة PHP مع عدد كبير من مهام cron وعميل مبني على Unity. وكانت البيانات مخزّنة في MySQL وRedis وobject storage، فيما يعمل كل ذلك على خوادم Hetzner. وتراكمت أسباب كثيرة لتغيير هذه المنظومة. فقد كانت Unity تنوي فرض رسوم عن كل عملية تثبيت، وصارت البنية والتصميم قديمين، وكان الحصول على خادم فيزيائي جديد يتطلب انتظار ساعات أو أيام.

أما الإصدار الجديد فمبني على منظومة مختلفة: عميل على Flutter، وعدة عشرات من الخدمات المصغّرة بلغة Go، إضافة إلى Postgres وValkey وRedpanda وCassandra وOpenSearch. وجرى وضع الجزء الأكبر في DigitalOcean، وأُبقي الجزء الروسي في Yandex Cloud. وعمل على اللعبة نحو 20 شخصًا، منهم ستة على الترحيل نفسه.

ثلاثة مسارات للتحضير

المسار الأول اختبارات الحمل بأداة Grafana k6. لم تنجح مقارنة الإصدار الجديد بالقديم، فطلب واحد من العميل القديم وطلب واحد من الجديد غير قابلين للمقارنة: العميل الجديد يُجري عددًا أكبر من النداءات إلى الخلفية، وكل نداء منها يولّد حزمة من النداءات الداخلية بين الخدمات المصغّرة. لكن خرج الفريق بدرس مفيد: الحدود الصارمة لاستهلاك المعالج في Kubernetes تخنق الحاوية حتى حين يكون المعالج على الخادم خاملًا. فألغى الفريق هذه الحدود.

المسار الثاني تغيير الأساس أثناء العمل. فقبل ثلاثة أشهر من الترحيل أغلقت ScyllaDB نسختها المجانية، فانتقل الفريق إلى Cassandra. وأُعلن أن ingress-nginx مشروع منتهٍ، فاختار الفريق Gateway API على Envoy. واستُبدل Redis أحادي الخيط بـValkey. وفي تلك الفترة نُقل أول 10 آلاف لاعب، وقرر الفريق الإبقاء على الموارد بهامش احتياطي.

المسار الثالث Claude Code. ربط الفريق الوكيل عبر MCP بالمستودعات والمقاييس والسجلات والكلاسترات، وأعطاه المعطى الأساسي: الموجة التالية هي 200 ألف لاعب. وبعد هذه الموجة راح يبحث عن الاختناقات تحسبًا لـ4 ملايين لاعب مستقبلًا. وهذا ما وجده:

  • استعلام على جدول من 599 صفًا كان يمسحه بالكامل في كل مرة، ونُفِّذ 310 ملايين مرة، ولهذا السبب كان Postgres يستهلك المعالج بكثافة؛
  • مقاييس على هيئة هيستوغرام بعدد كبير من الخانات كانت تهدد بإغراق Prometheus، الذي اقتربت ذاكرته أصلًا من حدّ 8 غيغابايت؛
  • كانت وسطاء Redpanda (brokers) مشغولة بنسبة 60–65% مقابل 25–28% لغيرها، وكانت حصص البيانات على عقد Cassandra تتفاوت إلى الضعف؛
  • قاعدة «لا أكثر من pod واحد للخدمة على كل خادم» كانت ستمنع الخدمات من النمو إلى 20–30 نسخة، إذ كانت الـpods الجديدة ستعلق في الانتظار.

وتحقق الوكيل أيضًا من فرضيات البشر. فتبيّن أن «8 آلاف خطأ» لم تكن سوى معرّفين (id) علقا في إعادة محاولة لا تنتهي. لكن الفريق أعاد فحص الاستنتاجات المتعلقة بموازنات الحمل والشهادات يدويًا، لأن الوكيل يصوغ بثقة استنتاجات صحيحة وخاطئة على حد سواء.

الانهيار قبل يوم من الترحيل ويوم الترحيل

قبل أسبوع من ذلك ناقش الفريق دينًا قديمًا: الجزء الروسي كله موجود في منطقة توافر واحدة من Yandex Cloud. وقرروا معالجته لاحقًا. وبعد أسبوع خرجت المنطقة من الخدمة، ولم يكن ممكنًا إنشاء موارد في المناطق المجاورة. فبدأ الفريق ترحيلًا طارئًا إلى سحابة أقل شهرة. وساعد Claude Code في وصف البنية التحتية برمجيًا خلال ساعات معدودة، وأُعيد تشغيل الكلاستر قبل 14 ساعة من الموعد. أما الحاويات (buckets) وCDN فبقيت في Yandex وانتقلت بعد يومين. ولم يلحظ معظم اللاعبين الحادثة: فقد كان الإصدار القديم يعمل في مركزي بيانات.

وقبيل الترحيل مباشرة تبيّن أمر آخر: بعض اللاعبين الذين يستخدمون عملاء قديمة كانوا يدخلون على النطاق الرئيسي، وكان لا بد من توجيه طلباتهم إلى التطبيق القديم. ولا يمكن ضبط قواعد كهذه عبر CDN، لذا بُني التوجيه على Envoy على عجل بالاشتراك مع Claude. ويعترف كاتب النص بأنه في لحظة ما لم يعد قادرًا على الإمساك بمخطط حركة البيانات في رأسه.

ما حدث بعد ذلك

وفق ما يذكره الكاتب، التزم زمن التوقف بالساعتين المخططتين. ثم ارتفعت حركة Envoy من 600–700 إلى 3,5 ألف طلب في الثانية، ثم إلى 5,1 ألف بحلول المساء: فالعميل الجديد يستدعي الـAPI أكثر من القديم بـ6–7 مرات. وارتفع زمن القراءة في Cassandra من 1 إلى 4–5 مللي ثانية، وساعد توسيع الكلاستر من 9 إلى 12 عقدة. أما Prometheus فنفدت ذاكرته في النهاية.

وبعد عدة أيام اتضح أن CoreDNS محمّل فوق طاقته: فبسبب إعداد ndots: 5 كان كل اسم يُجرَّب أولًا على النطاقات الداخلية للكلاستر. وبعد الانتقال إلى ndots: 2 صار عدد طلبات DNS اليومية 51 مليونًا بدل 114 مليونًا، وانخفضت أخطاء الخلفيات إلى 16 بدل نحو 200.

الحصيلة: بلغ DAU في اليوم التالي 86 ألفًا مقابل 73 ألفًا في الإصدار القديم، وارتفعت كلفة البنية التحتية بنسبة 20%. وجاء جزء من النمو من التسويق والميزات الجديدة، أما الإيرادات خلال ثلاثة أسابيع فيصفها الكاتب بأنها مماثلة لما كانت عليه سابقًا، لذا من المبكر استخلاص استنتاجات نهائية.

الدرس العملي للفرق: وكيل الذكاء الاصطناعي بارع في البحث عن المشكلات في البيانات التي يملك صلاحية الوصول إليها، لكنه لا يغني عن سحابة احتياطية، ولا يرى المخاطر التي قرر البشر أنفسهم تأجيلها.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي جرى ترحيله ولماذا؟

كان الإصدار القديم من اللعبة نظامًا متراصًّا (monolith) مكتوبًا بلغة PHP مع عدد كبير من مهام cron وعميل مبني على Unity. وكانت البيانات مخزّنة في MySQL وRedis وobject storage، فيما يعمل كل ذلك على خوادم Hetzner. وتراكمت أسباب كثيرة لتغيير هذه المنظومة. فقد كانت Unity تنوي فرض رسوم عن كل عملية تثبيت، وصارت البنية والتصميم قديمين، وكان الحصول على خادم فيزيائي جديد يتطلب انتظار ساعات أو أيام.

ما أبرز التفاصيل حول ثلاثة مسارات للتحضير؟

المسار الأول اختبارات الحمل بأداة Grafana k6. لم تنجح مقارنة الإصدار الجديد بالقديم، فطلب واحد من العميل القديم وطلب واحد من الجديد غير قابلين للمقارنة: العميل الجديد يُجري عددًا أكبر من النداءات إلى الخلفية، وكل نداء منها يولّد حزمة من النداءات الداخلية بين الخدمات المصغّرة. لكن خرج الفريق بدرس مفيد: الحدود الصارمة لاستهلاك المعالج في Kubernetes تخنق الحاوية حتى حين يكون المعالج على الخادم خاملًا. فألغى الفريق هذه الحدود. المسار الثاني تغيير الأساس أثناء العمل.

ما أبرز التفاصيل حول الانهيار قبل يوم من الترحيل ويوم الترحيل؟

قبل أسبوع من ذلك ناقش الفريق دينًا قديمًا: الجزء الروسي كله موجود في منطقة توافر واحدة من Yandex Cloud. وقرروا معالجته لاحقًا. وبعد أسبوع خرجت المنطقة من الخدمة، ولم يكن ممكنًا إنشاء موارد في المناطق المجاورة. فبدأ الفريق ترحيلًا طارئًا إلى سحابة أقل شهرة. وساعد Claude Code في وصف البنية التحتية برمجيًا خلال ساعات معدودة، وأُعيد تشغيل الكلاستر قبل 14 ساعة من الموعد. أما الحاويات (buckets) وCDN فبقيت في Yandex وانتقلت بعد يومين. ولم يلحظ معظم اللاعبين الحادثة: فقد كان الإصدار القديم يعمل في مركزي بيانات.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…