اختبار للمحللين الاصطناعيين: المتصدر حصل على 68 من 100، وفي التنبؤات 52,5 فقط

Investor's Last Exam بنشمارك جديد، أي مجموعة مهام لمقارنة النماذج. أعدّه باحثون في كلية أنتاي للاقتصاد والإدارة (Antai College of Economics and Management) بجامعة شنغهاي جياو تونغ، بالتعاون مع مستثمرين ومديري صناديق من أصحاب الخبرة. فكرته بسيطة: إسناد عمل المحلل إلى وكيل ذكاء اصطناعي، أي دراسة شركة ما وتقرير أين تُوظَّف الأموال، ثم اختبار قدرته على إنجاز ذلك دون الاطلاع على المستقبل. حصل أفضل نظام، GPT-6 Astra، على 68,1 من 100. لكنه نال 52,5 فقط في التنبؤات. بعبارة أخرى، تعلّمت النماذج قراءة التقارير وصياغة الاستنتاجات بدرجة أفضل بكثير من توقّع الأرقام.

كيف نحبس الوكيل في الماضي

المشكلة الرئيسية في الاختبارات المالية هي التسرب من المستقبل. عادةً تُقيَّد البيانات بمرشِّح يعتمد على تاريخ نشر الصفحة. يبيّن المؤلفون أن هذا المرشِّح لا يحمي من التسرب، فقد يبقى التاريخ على الصفحة قديمًا مع أن محتواها حُدِّث لاحقًا. في مهمة Tesla (رقم O74)، أرسل وكيل GPT-6 Astra طلبًا بتاريخ يسبق نهاية الربع، ومع ذلك حصل على مصدر بتاريخ 2 يوليو يتضمن أعداد السيارات المسلَّمة فعليًا في الربع الثاني.

لهذا جمع المؤلفون مدوّنة تحفظ كل نسخة من الوثيقة، ولا يُكتب فيها فوق أي شيء. ففي 15 أكتوبر 2026 ضمّت 3 430 336 نسخة و1,52 تيرابايت من المواد. وتنقسم المصادر إلى تسع فئات:

• التقارير المالية؛ • جداول البيانات المالية المنظَّمة؛ • مكالمات المستثمرين بعد نتائج الربع؛ • مواد المستثمرين؛ • أحداث الجهات المُصدِرة؛ • توقعات المحللين؛ • التقارير البحثية؛ • مراكز المستثمرين المؤسسيين؛ • الأخبار.

إضافةً إلى ذلك، تتوافر بيانات السوق عن الأسعار والعوائد والتقلب. وتغطي المدونة أسواق الولايات المتحدة والصين القارية وهونغ كونغ.

لكل نسخة وقت ظهور ومنطقة زمنية وما يثبت صحتهما. وإذا تعذّر تحديد التاريخ بشكل موثوق، لا تدخل الوثيقة في المهام. أما بالنسبة للسجلات المشكوك فيها، فقد قدّرت نماذج حديثة تواريخها أولًا ثم أعادت التحقق منها. ويسري القيد على السلسلة كلها: البحث والقراءة والتنزيل والذاكرة المؤقتة تتحقق جميعها من إتاحة البيانات بالطريقة نفسها. وتُجمَّد البيانات الجدولية بعد الطلب، ولا تغيّرها التعديلات اللاحقة. ويجري الوكيل حساباته في بيئة معزولة (sandbox) لا تتصل بالشبكة.

ماذا يُختبر بالضبط ومن يضع الدرجات

بُنيت المهام حول نواتج فعلية لعمل المحلل: خمس فئات وعشرون نوعًا فرعيًا، إضافةً إلى تقارير شاملة ومهام تداول تتعلق بتوقع السعر أو العائد أو التقلب. يضم الاختبار 86 مهمة في المجموع. وتُقيَّم كل مهمة على ثلاثة محاور: جودة البحث، ودقة التنبؤ، والنتيجة الافتراضية للاستثمار.

يرتبط كل شرط في معايير التقييم بمصدر أو حساب أو افتراض عبر رسم بياني للاعتماديات المالية. يصوغ الخبراء السؤال والأحكام، ويجمع الوكلاء الأدلة، وتراجع عدة نماذج المسودات، ويقرّ البشر المعايير النهائية. أما الإجابات المرجعية والمعايير فمحجوبة عن الوكلاء. ويتولى GPT-6 Astra دور المقيِّم في الدراسة.

تبيّن الأمثلة المواضع التي تتعثر فيها النماذج. ففي مهمة Microsoft (O58) لا يجوز إضافة إيرادات السحابة بوصفها قطاعًا رابعًا، لأنها مشمولة أصلًا في القطاعات الثلاثة الأخرى. وفي مهمة AEP (N27)، لا يعني نمو التدفق النقدي التشغيلي أن الشركة تحتاج إلى أموال خارجية أقل، إذا أُخذت الاستثمارات والتعديلات في الحسبان. وثمة فخ مشابه في إعادة التمويل: يبدو مجموع النقد والتدفق وخط الائتمان غير المستخدم كافيًا، إلى أن تُقرأ التعهدات (covenants) الخاصة بالقرض.

أين تخطئ النماذج

اختُبر 11 نظامًا. يأتي Claude Opus 5.5 بـ66,9 بعد GPT-6 Astra الذي حصل على 68,1. وتوزعت درجات Astra بحسب المهارات على النحو التالي:

• البحث والتعامل مع الأدلة — 78,9؛ • التقييم وقرار الاستثمار — 77,6؛ • التنبؤات وبناء النماذج — 52,5.

يتغير الترتيب عندما ننظر إلى النتيجة الفعلية لا إلى التحليل. فقد كان DeepSeek V4.1 Flash أقرب من غيره إلى النتائج الفعلية للتنبؤات. أما Kimi K3 فحققت عائدًا افتراضيًا أعلى من Opus، رغم حصولها على درجة أقل في البحث. والدرجة الإجمالية لا تدل على النموذج الأقدر على توقع السوق.

وفي ما يخص الأخطاء، يكتب المؤلفون إن النماذج توازن التدفقات النقدية، لكنها لا تميّز جيدًا بين التحسن الحقيقي في النشاط التشغيلي والحركات النقدية المؤقتة. فهي تقدّم تفسيرات وتوصيات متماسكة، لكن ذلك لا يضمن أن الافتراضات والحالات المحاسبية والأرقام النهائية تشكّل نموذجًا قابلًا للتحقق. وتظهر أيضًا مشكلات في إرسال الإجابة وفي التعافي من الأخطاء. ويعود جزء من التباينات إلى صياغات غير دقيقة للمعايير، لا إلى ضعف النماذج.

الخلاصة الرئيسية: انتقلت نقطة الضعف من الوصول إلى المعلومات والحساب إلى معايرة الافتراضات واتساق النموذج. ويعني ذلك للفرق التي تبني وكلاء ماليين أن من الأجدى تقييم سلسلة «المصدر — الافتراض — الحساب — القرار»، لا التقرير النهائي وحده. أما تقييد المستقبل فسيتعيّن تنفيذه على مستوى النظام، لا بمرشِّح تاريخ في الطلب.