FINESSE-Bench: كيف نقيّم نماذج اللغة الكبيرة في المجال المالي دون تضليل

نشر مختبر الذكاء الاصطناعي في شركة Finam نسخة محدّثة من معيار FINESSE-Bench المفتوح، المخصص لتقييم قدرة نماذج LLM على العمل في المجال المالي. وهذا التحديث ليس مجرد توسيع للنسخة السابقة، بل هو إعادة صياغة للمنهجية وتوسيع لنطاق المهام المالية المشمولة.

لماذا نحتاج إلى معيار مالي متخصص

تتمثل المشكلة الأساسية في أن نماذج LLM التي تحقق نتائج ممتازة في المعايير المفتوحة الشائعة (MMLU وARC وHellaSwag) كثيراً ما تعجز عن حل مسائل مالية حقيقية. وتلاحظ Finam عملياً تبايناً منهجياً بين الدقة العامة والدقة في السيناريوهات المالية.

يتطلب العمل المالي توقع المخاطر بشكل صحيح، وفهم أزواج العملات، وتفسير التقارير المالية، وتحليل الرسوم البيانية للأسعار. وقد يكلّف الخطأ في هذا المجال ملايين.

ولهذا لا يكتفي FINESSE-Bench باختبار المعرفة، بل يقيّم سلوك النموذج في الحالات التالية:

• ارتفاع مستوى صعوبة المهام
• انتقال جودة الأداء بين أنواع المهام المالية
• السيناريوهات المتخصصة (التداول وإدارة المخاطر والتحليل)

ما الجديد في النسخة المحدّثة

تغيّر الكثير مقارنة بالنسخة الأولى من FINESSE-Bench:

• توسيع مجموعات البيانات: أُضيفت اختبارات جديدة في التحليل الفني (CFTe-like Level 1)
• تحديث CFA-like: صُحّحت الأسئلة الإشكالية في قسم الامتحانات المالية
• توسيع مجموعة النماذج: يشمل الاختبار عدداً أكبر من نماذج LLM
• مقاييس محسّنة: أُضيف تقدير bootstrap لتقليل تباين النتائج
• تحليل الانتقال: فحص مدى انتقال الجودة بين أنواع المهام المالية
• تحليل التشبّع: تقييم القدرة التمييزية لمجموعات الأسئلة نفسها

لماذا يهمّ ذلك الذكاء الاصطناعي المالي

تجرّب شركات التقنيات المالية نماذج LLM باستمرار في المجالات التالية:

• تحليل الأخبار المالية وتأثيرها في الأسعار
• بناء المحافظ الاستثمارية تلقائياً
• التحقق من الامتثال للمتطلبات التنظيمية (compliance)
• توليد التوصيات الاستثمارية
• خوارزميات التداول التي تستجيب للنصوص

ويحول المعيار المُعايَر جيداً دون الأخطاء المكلفة، حين يبدو النموذج ذكياً لكنه يتسبب عملياً في خسارة رأس المال.

ماذا يعني ذلك

يدل نمو المعايير الخاصة بكل مجال (المالي والطبي والقانوني) على نضج صناعة الذكاء الاصطناعي. فلم يعد ممكناً تقييم نماذج LLM بالاختبارات العامة وحدها، إذ يحتاج كل قطاع إلى مسطرة قياس خاصة به. ويُعدّ FINESSE-Bench مثالاً على أن الشركات التي تعتمد الذكاء الاصطناعي مضطرة إلى تطوير نقاط تحقق خاصة بها، للتأكد من أن النموذج قادر فعلاً على العمل في مجالها، لا أن يحقق درجة مرتفعة فقط في معيار مأخوذ من الإنترنت.