Quant-Arena: لم يتفوق أيٌّ من 9 نماذج LLM على سوق A-share في 2024

حاولت تسعة نماذج رائدة (frontier) العمل كباحثين كميين على بيانات حقيقية من سوق الأسهم الصينية A-share. ولم يتفوق أي منها في 2024 على محفظة بسيطة متساوية الأوزان تمثل السوق. وحقق GPT-6 Astra أفضل نتيجة في الجدول، لكنها لم تتحول إلى عائد زائد على البيانات المحجوبة. هذا ما يخلص إليه Quant-Arena، وهو معيار أداء جديد ولوحة ترتيب عامة للبحث الكمي الشامل من البداية إلى النهاية، ويصفه بحث منشور على Hugging Face Daily Papers.

الدورة الكاملة بدل الحلقات المنفصلة

يشبه العمل الكمي حلقة متكررة. يصوغ الباحث فرضية عن السوق، ثم يحوّلها إلى إشارة قابلة للتنفيذ، ويختبرها على البيانات التاريخية، ويقرر ما يبقى منها وما يُستبعد. أما معايير الأداء الحالية فتختبر حلقات منفصلة: صحة صيغة رياضية، أو جودة شيفرة، أو قرار تداول واحد. ويبقى السؤال: هل يستطيع LLM إتمام الحلقة كلها وإخراج استراتيجية تعمل خارج الفترة التي ابتُكرت عليها؟

يطرح Quant-Arena هذا السؤال تحديدًا. فالنموذج يبني الخصائص بنفسه ويكتب شيفرة تسجيل الأسهم. ولا يتلقى تغذية راجعة إلا عن عامي 2022–2023. بعد ذلك يجمّد استراتيجية واحدة، وتُختبر على عام 2024 المغلق، وهو عام لم يسبق للنموذج أن رآه.

حساب نقدي وعمولات ودفتر أوامر

أهم ما في تصميم المعيار هو المقيِّم. فهو يعمل كحساب نقدي (cash-account)، إذ يطبّق قيود التداول والتكاليف، ويقدّر الأثر السوقي اعتمادًا على دفتر أوامر محاكى. وهذا يسدّ ثغرة شائعة في كثير من الاختبارات الرجعية (backtests)، حيث تنتج منحنيات العائد الجذابة من افتراض إمكان شراء أي حجم بالسعر الحالي دون أي عواقب.

تتكوّن الدرجة النهائية من ثلاثة أجزاء:

• العائد الزائد المحقَّق، وهو المكوّن الرئيسي وله الوزن الأكبر؛
• جودة الإشارة؛
• تنوّع الخصائص التي تستخدمها الاستراتيجية.

يحمي البند الثالث من الحلول المتدهورة. فالنموذج الذي وجد عاملًا واحدًا فعّالًا وكرّره في عشر صيغ سينال درجة أقل من نموذج جمع مصادر إشارة مختلفة فعلًا.

أفضل نتيجة، ومع ذلك دون السوق

اختبر المؤلفون تسعة نماذج رائدة (frontier). واحتل GPT-6 Astra المركز الأول من حيث الدرجة النهائية. لكن الدرجة تشمل الإشارة والتنوّع، أما الاختبار الحاسم فهو المال على العام المغلق. وهنا تبدو الصورة قاسية: لم يتفوق أي نموذج على السوق متساوي الأوزان في 2024.

يمكن من ذلك استخلاص نتيجة حذرة. فوكلاء LLM يجيدون كتابة الشيفرة وتوليد الخصائص وتحسين المقاييس على الفترة المتاحة لهم. لكن ذلك لا يضمن حتى الآن عائدًا مستقرًا خارج العيّنة. ومن التفسيرات الممكنة فرط التكيّف مع 2022–2023: فالوكيل يتلقى تغذية راجعة عن هذين العامين فقط ويحسّن أداءه وفقهما. وربما يكون لتغيّر نمط السوق دور أيضًا. غير أن هذه الآليات تظل فرضيات، والحقيقة المؤكدة الوحيدة أن فكرة بدت جيدة على البيانات التاريخية لم تصمد أمام العام المغلق.

واختيار السوق متساوي الأوزان معيارًا للمقارنة ليس عشوائيًا. فهو مرجع مملّ ورخيص ويصعب التفوق عليه، وتُقارَن به أي إدارة نشطة. وإذا عجز الوكيل عن التفوق عليه بعد احتساب التكاليف والأثر في السعر، فمن المبكر الحديث عن أتمتة أبحاث ألفا.

كيف تستخدم Quant-Arena

المعيار مفتوح لطلبات المشاركة من أي نموذج أو هيكل وكلاء (agent harness). وهذه نقطة جوهرية: ففي لوحة الترتيب يمكن مقارنة نماذج LLM الأساسية، وكذلك أنظمة كاملة تضم ذاكرة وأدوات وحلقات تحقق ذاتي وانضباطًا في انتقاء الفرضيات.

والفائدة عملية للفرق التي تبني وكلاء للقطاع المالي. أولًا، هو بيئة اختبار جاهزة بفصل صارم بين الفترات، يسهل فيها كشف التكيّف المفرط مع البيانات التاريخية. ثانيًا، يبيّن مقياس تنوّع الخصائص ما إذا كان الوكيل يستكشف فضاء الفرضيات أم يراوح مكانه. ثالثًا، يتيح احتساب الأثر السوقي تقييمًا أكثر واقعية لقابلية الاستراتيجية للتوسّع من اختبار رجعي لا يحتسب التكاليف.

أما بالنسبة إلى المستثمرين والمديرين، فالخلاصة أبسط: ينبغي التحقق من التصريحات الطنانة عن متداولي AI المستقلين بالاعتماد على بيانات خارج العيّنة. وما دام أفضل نموذج في Quant-Arena دون المحفظة السلبية، فيبدو دور LLM في الفرق الكمية مساعدًا للشيفرة والأفكار، لا بديلًا عن الباحث.