JockeyBench: 28 تكوينًا من وكلاء LLM تخسر في سباقات الخيل اليابانية

إذا كان وكيل LLM يتنبأ بنتيجة حدث ما بدقة معقولة، فهل يعني ذلك أنه قادر على تحقيق أرباح؟ اختبر فريق HKUST KnowComp هذا السؤال على سباقات الخيل اليابانية، وخرج بجواب غير مريح. ففي مقياس JockeyBench جرى تشغيل 28 تكوينًا من نوع «نموذج مع بنية تشغيلية محيطة به» على 324 سباقًا تاريخيًا. وبعد تصحيح المقارنات المتعددة، وجدت الاختبارات المزدوجة سبعة تحسينات ناتجة عن مراجعة التنبؤ وتراجعين اثنين. ومع ذلك جاء متوسط الربح عند المراهنة وفق capped-Kelly سالبًا لدى كل تكوين دون استثناء.

سباقات الخيل كمنصة اختبار للوكلاء

يتصدى المؤلفون (Zhongwei Xie وXingsu Li وJingqiao Yu وZihao Wang وHong ChiTat وZhaowei Wang وWeizhi Du وYuxuan Liu وHuihao Jing وJiaxin Bai وYangqiu Song) لمهمة محددة: التنبؤ المتكرر بالأحداث. على الوكيل أن يستخلص إشارة من بيانات مشوَّشة، ثم يثبت أن لهذه الإشارة قيمة عبر سلسلة من القرارات المتتالية. وتناسب سباقات الخيل هذا الاختبار تقريبًا على نحو مثالي: الأحداث منتظمة، والنتائج لا تحتمل اللبس، وسوق المراهنات يحدد ثمن الخطأ.

وتكمن الفكرة الهندسية الرئيسية في طريقة ضمان نزاهة التجربة. تُقدَّم البيانات بحسب الزمن، فلا يرى الوكيل أي شيء من المستقبل قياسًا إلى موعد السباق. والأدوات مدفوعة، أي أن البحث يكلّف مالًا وتُحتسب هذه الكلفة في التقييم النهائي. وللمقارنة تُستخدم ضوابط مزدوجة مع برامج مجمّدة، وبهذه الطريقة يمكن فصل أثر مراجعة التنبؤ عن التباين العشوائي.

نمطا عمل وثلاث طبقات للتقييم

يقارن المقياس بين سير عمل اثنين:

• يكتب LLM برنامج تنبؤ، أي برنامجًا يُنفَّذ لاحقًا ويُصدر التوقعات؛
• يجمع LLM الأدلة ويضع تنبؤًا جديدًا لكل سباق على حدة.

ويقوم التقييم على ثلاثة مستويات مستقلة:

• جودة التنبؤ؛
• المنفعة الصافية الخاصة بالمقياس، مع احتساب رسوم الأدوات؛
• العائد الرجعي ومخاطر المراهنات وفق قواعد قرار ثابتة.

لا يذكر وصف الدراسة أسماء النماذج المحددة، ولذلك لا يمكن المقارنة بين الشركات المطوِّرة استنادًا إليه. لكن ثمة استنتاجًا بنيويًا: ففي مقارنة بين أربعة نماذج، يحقق الوضع القائم على برنامج يُعاد استخدامه متوسط ربح أعلى ونفقات بحث أقل. غير أن هذا التفوق نسبي، إذ يخسر الوضعان كلاهما في المتوسط.

أين يختبئ المال وأين يختفي

هذا أكثر ما يلفت في التشخيص. فمتوسط انحياز الاحتمالات، الذي يبدو مقبولًا على العينة كلها، يغيّر إشارته عند الرهانات التي اختارها الوكيل فعليًا. بعبارة أخرى، يبلغ النموذج أقصى درجات ثقته حيث تكون ثقته خاطئة: فاختيار الرهانات يضخّم التقديرات المبالغ فيها. وهذه علّة معروفة في أي نظام يبحث عن «القيمة» قياسًا إلى السوق، ولا يتحصّن LLM منها.

أما الملاحظة الثانية فتخص بعض التشغيلات الرابحة المنفردة. فهي تعتمد على عوائد مركّزة: نتيجة أو نتيجتان موفقتان تصنعان الربح في السلسلة كلها. وإذا نظرنا إلى أفضل التشغيلات فقط، يسهل الخلط بين الحظ والمهارة. ولهذا السبب تحديدًا يتضمن المقياس اختبارات مزدوجة وتصحيحًا للمقارنات المتعددة، ويُحتسب متوسط الربح على جميع التكوينات.

وتتلخص الأرقام في النهاية على النحو التالي:

• 28 تكوينًا من نوع «نموذج مع بنية تشغيلية محيطة به»؛
• 324 سباقًا؛
• 7 تحسينات ذات دلالة ناتجة عن المراجعة وتراجعان اثنان (2) ذوا دلالة؛
• 0 تكوينات بمتوسط ربح موجب وفق capped-Kelly؛
• 4 نماذج في المقارنة المنفصلة بين سير العمل، ويتفوق فيها وضع البرنامج الجاهز.

يحدد capped-Kelly حجم الرهان وفق معيار كيلي مع حدٍّ أقصى. وهو يعاقب على المبالغة في تقدير الاحتمالات الخاصة بالوكيل، وهذا بالضبط ما يكشف ضعف الوكلاء.

والخلاصة العملية لمن يبني وكلاء للتنبؤ، سواء بالطلب أو الأسعار أو المخاطر أو أحداث السوق، هي التالية. ينبغي تقييم أربعة أمور كلٌّ على حدة: الكفاءة التنبؤية، والقدرة على التكيّف، واستهلاك الموارد، وقيمة القرار نفسه. فتحسّن مقياس التنبؤ لا يضمن عائدًا موجبًا، وقد يتفوق برنامج رخيص يُعاد استخدامه على بحث مكلف لكل حالة على حدة. وقد نُشر الكود وصفحة المشروع على GitHub وعلى موقع HKUST KnowComp، ولذلك يمكن نقل البروتوكول إلى مجالات أخرى تتكرر فيها الأحداث.