فريق يدرّب وكيلاً على مباريات لاعبين آخرين ويحتل المركز 436 في Kaggriculture

حقّق الإصدار الجديد من الوكيل أرباحاً أكبر. هل يمكن إتاحته للمستخدمين؟ ما زال الوقت مبكراً، فربما حصل على سوق أكثر ملاءمة. واجه مشاركون في Kaggriculture هذه المشكلة تحديداً. وقارنوا الإصدارات في مباريات متطابقة، ثم درّبوا النموذج على تقليد قرارات لاعبين أقوياء. يفيد هذا التسلسل مطوّري الوكلاء: ينبغي أولاً إيجاد وسيلة لقياس التغييرات، ثم اختيار البنية المناسبة.

في تحليل نُشر على Habr، أفاد الفريق بأنه احتل المركز 436 من بين 10 148 فريقاً وحصل على ميدالية فضية. وعلى مدى شهرين، اختبر المشاركون ستة أساليب، من القواعد المحددة مسبقاً إلى نموذج محوّل يضم نحو 20 مليون معلمة. وبحسب تقييمهم، كان أقوى النماذج محوّلاً دُرّب بأسلوب الاستنساخ السلوكي، أو behavior cloning: إذ تعلّم اختيار التصرفات الواردة في المباريات المسجّلة انطلاقاً من حالة اللعبة.

فصل أداء الوكيل أولاً عن أثر السوق المواتية

في Kaggriculture، يدير وكيلان مزرعتين متجاورتين ويبيعان إنتاجهما في سوق مشتركة. وبعد 30 يوماً داخل اللعبة، يفوز من يملك مالاً أكثر. إذا أنتج كلاهما كميات كبيرة من الحليب، انخفض سعره. وإذا افتُتح متجر لخيوط الحياكة، نشأ طلب إضافي على الصوف. زيادة الإنتاج وحدها لا تكفي؛ بل ينبغي فهم ما يمكن بيعه.

تتحدد مجموعة المتاجر عشوائياً، وتؤثر بشدة في الإيرادات. وفي العينة التي درسها الفريق، استأثرت المباراة نفسها بنسبة 88.8% من تباين الرصيد النقدي النهائي. ولا يعني ذلك أن العشوائية تحدد 88.8% من الانتصارات؛ فهذا المؤشر يصف تشتت المبالغ المكتسبة.

لمقارنة الإصدارات، أعاد المطوّرون إنشاء المباراة باستخدام القيمة الابتدائية نفسها لمولّد الأعداد العشوائية. وحلّ الوكيل الجديد محل القديم، فيما كرّر الخصم تصرفاته المسجّلة. ثم أحصوا عدد الهزائم السابقة التي تحولت إلى انتصارات، وعدد الانتصارات التي فُقدت.

لهذه الطريقة قيد مهم: الخصم المسجّل لا يتفاعل مع السلوك الجديد. تساعد بيئة الاختبار هذه على انتقاء التعديلات، لكن لا يجوز تقديم نتائجها باعتبارها نسبة الفوز في بطولة يتفاعل فيها الخصوم فعلياً. وبالنسبة إلى فرق المنتجات، فالتشبيه واضح: مجموعة مهام ثابتة تسهّل مقارنة الإصدارات، لكن يلزم أيضاً إجراء اختبار منفصل للتفاعل مع بيئة متغيرة.

أفاد تقليد الأمثلة، لكن لفترة قصيرة

لم يتطلب أسلوب التقليد الأول تدريب شبكة عصبية. جمع الفريق 782 تسجيلاً لمباريات لاعب قوي واحد. وكان الوكيل يبحث عن موقف مشابه من حيث توزيع العناصر والمتاجر والأسعار الأخيرة، ثم يكرّر التصرف الوارد في التسجيل المناسب.

نجح ذلك في بداية اللعب، لأن الافتتاحيات كانت تتكرر كثيراً. لكن حالات اللعبة تباعدت لاحقاً، وأصبحت الأمثلة المناسبة لمواصلة اللعب أقل عدداً. وعند الاختبار في الحالات المطابقة تماماً لحالات اللاعب الأصلي، كرّرت النسخة المقلّدة تصرفاته في 85% من الحالات خلال الأيام 6–14، وفي 2.5% فقط من الحالات بدءاً من اليوم 15.

يوفّر ذلك تشخيصاً مفيداً للمطوّرين. فقد يجتاز الوكيل بثقة البداية المألوفة لعملية ما، ثم يفقد اتجاهه بعد بضعة قرارات يتخذها بنفسه. لذلك لا يكفي متوسط الدقة وحده؛ بل ينبغي فحص مراحل المهمة كلٌّ على حدة، وتحديد المواضع التي تنفد فيها الأمثلة المناسبة.

الشبكة العصبية احتاجت إلى قرارات متسقة

كانت الخطوة التالية استخدام نموذج محوّل. جرى تمثيل حالة المزرعة بـ197 رمزاً: الخانات والعمال والسلع والسوق وغيرها من الكيانات. وتلقّى النموذج معلومات عن المزرعتين، فيما ساعدته ذاكرة مستمرة بين الأدوار على مراعاة الملاحظات والتصرفات السابقة.

كشف التدريب عن مشكلة في وسم البيانات. فقد أمكن الوصول إلى خانة ما عبر عدة مسارات متساوية في القِصر، لكن التسجيل احتوى على مسار واحد فقط. عدّل الفريق دالة الخسارة حتى لا يُعاقَب النموذج على اختيار خطوة أخرى مكافئة نحو الهدف نفسه. والدلالة العملية بسيطة: إذا كانت هناك عدة قرارات جيدة ومقبولة، فيجب أن يراعي التدريب ذلك.

كذلك لم يضمن مزج تسجيلات لاعبين أقوياء تحسّن الأداء. فقد استندت استراتيجياتهم إلى استثمارات مختلفة: تصرّف منطقي بعد شراء أرض قد لا يناسب مزرعة أنفقت أموالها على الحيوانات. وفي التجارب المبكرة، كان النموذج يأخذ متوسط هذه القرارات، فتراجع مستوى لعبه.

تقدّم هذه الحالة تسلسلاً عملياً لتجارب الوكلاء: بناء نسخة مرجعية بسيطة، وإعداد سيناريوهات قابلة للتكرار، والتحقق من اتساق الأمثلة التوضيحية، وتحليل الأخطاء بحسب المراحل. لا تثبت الميدالية الفضية في محاكاة لعبة أن الأسلوب جاهز لمهام الأعمال. لكن الاختبارات الموصوفة تساعد على فهم سبب نجاح إضافة مزيد من التعقيد إلى النموذج فعلاً، أو سبب ظهورها بمظهر مقنع فحسب.