EinsiaAI تطلق Quant Arena: نصف النماذج اللغوية التسعة يخسر أمام سوق الأسهم الصينية A-share

نشرت EinsiaAI اختبار Quant Arena، وهو معيار يقيس قدرة النماذج الكبيرة على العمل كباحث كمي في سوق الأسهم الصينية. شمل الاختبار 9 نماذج من 6 مطورين. كتب كل نموذج استراتيجية، وشغّل اختبارًا رجعيًا (backtest)، وعدّل الشيفرة، ثم سلّم في النهاية نسخة نهائية واحدة. جرى تشغيل هذه النسخة على بيانات سوق مغلقة مسبقًا. لم يحقق أرباحًا سوى نماذج سلسلة GPT وOpus 5.5، بينما خسرت بقية النماذج. وكان أفضل نتيجة من نصيب GPT-6 Astra: نحو 10% سنويًا.

اختبار لا يمكن فيه تطويع الإجابة

تقيس معظم معايير البرمجة والوكلاء (agents) ما إذا كان البرنامج يعمل وما إذا كان يجتاز الاختبارات. وهذا لا يكفي في البحث الكمي. فقد تعمل الشيفرة على أكمل وجه، وتصف مع ذلك استراتيجية تبدو جذابة على البيانات التاريخية ثم تنهار أمام بيانات جديدة. والفخ الكلاسيكي هنا هو الإفراط في ملاءمة الاختبار الرجعي: كلما أطال النموذج ضبط المعاملات على فترة معروفة، تحسّن منحنى العائد وتراجعت قيمته الفعلية.

يتجاوز Quant Arena هذا الفخ بتصميم الاختبار نفسه. يرى النموذج البيانات التاريخية، ويمكنه تعديل المنطق عدد مرات غير محدود، لكن النسخة النهائية تُفحص على بيانات لم يطّلع عليها. وبذلك لا يقيس الاختبار القدرة على كتابة استراتيجية، بل القدرة على عدم خداع النفس.

شروط الاختبار وفق المعلومات المعروفة:

• 9 نماذج من 6 مطورين على منصة واحدة؛
• السوق: أسهم A الصينية (A-share)؛
• الدورة: كتابة الاستراتيجية، ثم الاختبار الرجعي، ثم تعديل الشيفرة، ثم تسليم النسخة النهائية؛
• الفحص النهائي: أسعار مغلقة مسبقًا؛
• الرابحون: سلسلة GPT وOpus 5.5، والبقية خاسرة؛
• الأفضل: GPT-6 Astra بنحو 10% سنويًا.

لماذا يُعدّ سوق A-share ممتحِنًا صعبًا

اختير للاختبار سوق ليس سهلًا. يُعرف A-share بارتفاع حصة المستثمرين الأفراد، وبحدود يومية على تغيّر السعر، وبقاعدة T+1: لا يمكن بيع الورقة المشتراة في اليوم نفسه. والاستراتيجية المنقولة من السوق الأمريكية اعتمادًا على ما تحفظه النماذج من بيانات التدريب تنكسر هنا بسهولة أمام بنية السوق الدقيقة. فعلى النموذج ألا يكتفي بإعادة سرد ما في الكتب عن الزخم (momentum) والارتداد إلى المتوسط (mean reversion)، بل أن يراعي طريقة التداول في هذا السوق تحديدًا، وأن يُنفّذ ذلك في الشيفرة.

وخسارة نصف المشاركين أمر متوقع. فالنموذج اللغوي يكتب شيفرة معقولة المظهر وتبريرًا معقول المظهر. أما السوق فلا يكافئ إلا الاستراتيجيات ذات الأفضلية الإحصائية، وهذه الأفضلية لا تنشأ من طلاقة النص. ومن اللافت أيضًا أن سلسلتين فقط حققتا أرباحًا. ويبدو أن القدرة على تقييم الاختبار الرجعي الخاص بالنموذج بصدق تتوقف على النموذج المحدد أكثر مما تتوقف على مستواه العام في البرمجة.

وينبغي النظر أيضًا إلى حجم النجاح. فنحو 10% سنويًا لأفضل نموذج نتيجة بمستوى صندوق متواضع، لا آلة لطباعة المال. وحتى الآن يُظهر المعيار الفجوة بين النماذج، لا الجاهزية لتسليمها رأس المال.

ما الذي يستفيده من يبني وكلاء ماليين

أولًا: قيّموا الوكيل بنتيجته النهائية على بيانات مغلقة، لا بجمال اختبار رجعي حسّنه بنفسه. وإذا كنتم تبنون مساعدًا كميًا (quant) داخليًا، فأبقوا العيّنة المحجوزة بعيدة عن متناول النموذج، ولا تُظهروها له حتى بشكل غير مباشر.

ثانيًا: لا يصح اختيار النموذج للمهام المالية بالاستناد إلى تصنيفات البرمجة العامة. يقدّم Quant Arena محورًا مستقلًا للمقارنة: مدى مقاومة النموذج لخداع النفس في دورة «كتب، فحص، عدّل».

ثالثًا: تحتاج الفرق التي تعمل مع الأسواق الصينية إلى فحوص تراعي الخصوصية المحلية. من الأفضل إدراج حدود الأسعار وقاعدة T+1 في المحاكي منذ البداية، وإلا فإن حتى النموذج القوي سيحسّن الاستراتيجية وفق قواعد لا وجود لها في البورصة الحقيقية.

وأخيرًا، تتقادم المعايير من هذا النوع بسرعة عندما تصل بياناتها إلى التدريب. لذلك فإن العيّنة المغلقة هنا أهم من التصنيفات نفسها: فهي ما يجعل المقارنة بين النماذج ذات معنى.