SpireBench يُلزم 20 نموذجًا لغويًا كبيرًا بإكمال Slay the Spire كاملة: الخبراء ما زالوا في المقدمة

اختبر مؤلفو SpireBench ‏20 نموذجًا لغويًا كبيرًا على النسخة التجارية الكاملة من لعبة الورق roguelike المسماة Slay the Spire ‏(StS) على أعلى مستوى صعوبة. تتفوق النماذج الرائدة (frontier) على الخوارزميات الأساسية القائمة على القواعد الإرشادية (heuristics) وتبلغ مستوى اللاعب البشري المتوسط، لكنها لا تصل إلى مستوى الخبراء. ويتسع الفارق كلما طالت الجولة. تفوز أفضل النماذج بالفصل الأول بالوتيرة نفسها التي يفوز بها الخبراء، ثم يبدأ أداؤها بالتراجع.

لماذا نحتاج إلى لعبة طويلة

معظم معايير اختبار النماذج الوكيلية (agentic) قصيرة وتقوم على حلقات منفصلة. يحل النموذج المهمة في بضع خطوات ويحصل على تقييم وينتهي كل شيء. أما الاستدلال الاستراتيجي على المدى الطويل فما زال قليل الدراسة. والمشكلة الثانية أن نتيجة المهمة الطويلة يصعب تفكيكها إلى ثلاثة مكونات: المعرفة المخزّنة، والاستدلال، والحظ.

تصلح StS لهذا النوع من الاختبار. فالقرارات المبكرة، مثل اختيار الأوراق التي تُضاف إلى المجموعة، تحدد النجاح بعد ساعات طويلة من اللعب. والخطأ في الفصل الأول يظهر أثره في الفصل الثالث. ويؤكد المؤلفون أن إطار التشغيل (harness) الذي طوروه هو الأول من نوعه الذي يمنح النموذج اللعبة الأصلية كاملة، لا نسخة مبسطة منها. ويقارنونه بأطر التشغيل القائمة.

أين تخسر النماذج الوكيلية نقاطها

يكشف التحليل بحسب الفصول طبيعة التأخر. ففي المقاطع القصيرة لا تقل النماذج القوية عن الخبراء، لكن أخطاء الاستراتيجية المتراكمة تنتزع منها مع كل فصل جديد مزيدًا من فرص الفوز.

تختلف النماذج القوية عن الضعيفة في طريقة لعب كل معركة. ومع ذلك تخطئ جميع النماذج العشرين في تقدير المخاطرة. فهي تحافظ على صحتها، مع أن إنفاقها في هذا النوع من الألعاب أجدى لتقوية المجموعة. يبدو الحذر معقولًا في كل قرار على حدة، لكنه يخفض فرص الفوز على المدى الطويل.

وثمة ملاحظتان أخريان تتعلقان بالمعرفة والذاكرة:

• أعاد المؤلفون تسمية جميع مصطلحات اللعبة بصورة منهجية. وأظهرت النتيجة أن جزءًا من نجاح النماذج يعتمد على معرفتها باللعبة نفسها، وهي معرفة اكتسبتها أثناء التدريب.
• تدوّن النماذج ملاحظات لنفسها بين الجولات. ولا تحسّن هذه الملاحظات الأداء. فهذه الذكريات كثيرًا ما تحتوي على أخطاء وتبالغ في الحذر.

أبرز النتائج

• العيّنة: 20 نموذجًا لغويًا كبيرًا، وأعلى مستوى صعوبة في StS، واللعبة كاملة.
• تتفوق النماذج الرائدة على الخوارزميات الأساسية القائمة على القواعد الإرشادية وتعادل الإنسان المتوسط.
• يبقى الفارق كبيرًا عن الخبراء، ويتسع مع طول الجولة.
• في الفصل الأول لا تقل أفضل النماذج عن الخبراء من حيث نسبة الفوز.
• ما يفصل القوية عن الضعيفة هو جودة اللعب في المعارك المنفردة.
• العيب المشترك: التقليل من فائدة إنفاق الصحة لزيادة القوة.
• تكشف إعادة تسمية المصطلحات الاعتماد على المعرفة المسبقة باللعبة المكتسبة في التدريب.
• الذاكرة التي يكتبها النموذج بنفسه بين الجولات لا تحقق أي مكسب.

ما الذي يجدر بمطوري النماذج الوكيلية أخذه

المعيار غير مشبع: فحتى أفضل النماذج أمامها مجال للتحسن، وهذا نادر في الاختبارات الحالية. ويصف المؤلفون المعيار بأنه أداة تُظهر أين يخطئ الوكيل ولماذا، لا مجرد أداة تعطي تقييمًا نهائيًا.

تنتج عن هذه النتائج عدة استنتاجات عملية. أولًا، ينبغي تقييم الوكيل في المراحل المبكرة والمتوسطة والمتأخرة كلٌّ على حدة، لأن نسبة الفوز الإجمالية تخفي الموضع الذي يبدأ فيه التدهور. ثانيًا، إعادة تسمية المصطلحات وسيلة رخيصة للتحقق مما إذا كان النموذج يحل المهمة فعلًا أم يستحضرها من بيانات التدريب. ثالثًا، يجب اختبار آليات الذاكرة طويلة الأمد بحثًا عن مكسب حقيقي. فإذا كتب الوكيل لنفسه استنتاجات ولم يتحسن، فقد تثبّت هذه الملاحظات عادات خاطئة ومبالغًا في حذرها. وأخيرًا، ينبغي اختبار معايرة الموقف من المخاطرة على حدة: فالنموذج الذي يتجنب الخسائر قد يخسر في المواقف التي تتطلب استثمار الموارد في نمو مستقبلي.

يستند هذا الاستنتاج إلى ملخص الدراسة المنشورة مسبقًا (preprint). أما أسماء النماذج، والنسب الدقيقة للفوز، ومنهجية المقارنة بالإنسان، فلا ترد إلا في النسخة الكاملة من الورقة.