نموذج مالي صغير يتعلم من أخطائه: +3 نقاط مئوية دون معلّم

كثيرًا ما لا يحق للمؤسسات المالية إرسال بيانات العملاء ومراكزهم المالية وتحليلاتها الداخلية إلى واجهات API خارجية. لذلك لا يبقى أمامها سوى النماذج المفتوحة التي يمكن تشغيلها على خوادمها الخاصة. وتكون هذه النماذج عادةً أضعف من الأنظمة المغلقة المتقدمة في الحسابات متعددة الخطوات، حيث يجب أولًا فهم الأعراف المحاسبية ثم تعويض الأرقام في المعادلة. اقترح باحثون من جامعة كاليفورنيا في بيركلي (أُنجز العمل خلال تدريب في شركة CTGT، وقُبل في مؤتمر ICAIF'26 في ميلانو) طريقة Fin-SD. رفعت هذه الطريقة دقة نموذج GPT-OSS-20B على مجموعة FinanceReasoning Hard الصعبة بمقدار 3.03 نقطة مئوية. ولم تتطلب لذلك معلّمًا خارجيًا ولا حلولًا مرجعية.

كيف يتعلم النموذج من أول خطأ

تعمل «التقطير على التشغيلات الذاتية» المعتادة على النحو التالي: يحل الطالب المسألة بنفسه، ويقيّم المعلّم كل رمز (token) يُنتجه. وعيب هذا الأسلوب أنه يحتاج إلى معلّم خارجي قوي. أما صيغة OPSD فتستغني عن المعلّم الخارجي، لكنها تتطلب حلًّا مرجعيًا كاملًا.

يكتفي Fin-SD بأقل من ذلك. فإذا أخطأ النموذج، تتلقى نسخته المجمّدة نص المسألة وإجابة الطالب الخاطئة والإجابة الصحيحة. ثم تُعيد ثلاثة أشياء:

• اقتباس أول خطوة خاطئة؛
• نقدًا قصيرًا على غرار: «يختلف منطقك عند تحديد أساس خسائر الشغور؛ احسبها فقط من إيجار الشقق»؛
• نوع الخطأ: مفاهيمي أو حسابي.

تُستبعد الأخطاء الحسابية وأخطاء التقريب، فلا يُحتسب التدرّج (gradient) الناتج عنها. وتُعالَج هذه الأخطاء بآلة حاسبة ضمن الأدوات المحيطة بالنموذج. وفي الفحص اليدوي أصاب المصنِّف في 48 مثالًا من 50 (96%). ومع ذلك تُحتسب هذه المسائل خاطئةً في الدقة النهائية.

بعد ذلك يُقطع الحل قبل موضع الخطأ مباشرة. يرى الطالب و«المعلّم» المجمّد البادئة الصحيحة نفسها، لكن المعلّم يقرأ التلميح أيضًا. ويقرّب النموذج توزيعه للرموز التالية من توزيع المعلّم على مقطع من 100 رمز (تُقلَّل فيه دالة تباعد KL العكسي). وفي نهاية كل دورة تدريب (epoch) تُجمع قائمة الإخفاقات من جديد، ويُحدَّث المعلّم إلى أحدث أوزان الطالب.

التلميح لا يكاد يهم

النتيجة الرئيسية هي أن مضمون النقد تبيّن أنه شبه غير مهم.

• إذا استُبدل بالتحليل قالب من نوع «خطؤك مفاهيمي»، تبلغ الزيادة على النموذج الأساسي +3.36 نقطة مئوية مقابل +3.03 لـ Fin-SD الكامل.
• لم تحقق تلميحات GPT-OSS-120B (من العائلة نفسها وأكبر بكثير) أثرًا أكبر بصورة ملموسة مما حققته التلميحات الذاتية. ففي هذه المجموعة يخطئ النموذج الصغير في الغالب عند اختيار العُرف المحاسبي، ويحدد نموذج 20B هذا الموضع بدقة كافية وهو يملك الإجابة المعروفة.
• يخلص المؤلفون بحذر إلى أن الجزء الأكبر من المكسب يأتي من توجيه الإشارة إلى موضع الخطأ تحديدًا. أما نص التلميح فثانوي.

وبالمقارنة مع OPSD، سجّل Fin-SD نسبة 72.19% مقابل 70.42%. وهو يولّد عند التقييم رموزًا أقل بنسبة 9.5%. كما أن حصة الإجابات التي دخلت ضمن ميزانية الرموز أعلى لديه قليلًا، رغم أن المؤلفين يصفون ذلك بأنه مجرد اتجاه.

البيانات واختبار الآثار الجانبية والقيود

جمع المؤلفون مجموعة التدريب بأنفسهم. أخذوا مكتبة تضم 3 133 دالة مالية من FinanceReasoning، وقيّموا صعوبة كل دالة على مقياس من 8 درجات (والمقيِّم هو GPT-OSS-120B)، وأبقوا أصعبها. ثم تحقق نموذج DeepSeek-V4-Flash مما إذا كان يمكن بناء مسألة بإجابة وحيدة، فبقيت 295 دالة. وكتب GPT-5.5 لهذه الدوال سيناريوهات لا تُعطى فيها المدخلات مباشرة، بل يجب استنتاجها من الأعراف: الإيجار السنوي، والشغور، و«الأموال المستثمرة فعليًا». وبعد ذلك فقط يُحسب المؤشر المالي، مثل cash-on-cash return.

أكبر خطر في إعادة التدريب داخل البنك هو إفساد السلوك المضبوط مسبقًا. لذلك اختبر المؤلفون النموذج بعد Fin-SD على اختبارين:

• MMLU-Pro (المعرفة العامة والاستدلال): لا يوجد تراجع ملحوظ؛
• FinTrust، وهو تدقيق وفق أربعة عشر مقياسًا للامتثال في السياق المالي: ولا تدهور ذو دلالة أيضًا.

ثمة تحفظات لازمة. أُجريت التجارب على نموذج واحد (GPT-OSS-20B) وعلى مجموعة واحدة خاصة تتعلق أخطاؤها في الغالب باختيار العُرف. ومجموعة التقييم صغيرة: 238 مسألة، لذا فإن فارقًا قدره 1–3 نقاط مئوية قريب من حدود الضوضاء الإحصائية. ويصف مؤلف الطريقة نفسه استنتاجَ عدم أهمية مضمون التلميح بأنه فرضية.

ما الذي يعنيه ذلك عمليًا

بالنسبة إلى الفرق التي تُبقي النموذج داخل محيط البنك، فالخلاصة بسيطة وقليلة الكلفة. هل تتوافر إجابات لمسائل التدريب والنموذج نفسه؟ عندها يمكن تحديد أول خطأ مفاهيمي، وقطع الحل عند ذلك الموضع، والتدريب على المقطع القصير. ولا حاجة إلى معلّم خارجي ولا إلى وسم يدوي دقيق. وإذا كان المكسب يتحدد فعلًا بموضع تطبيق الإشارة، فلا داعي لشراء تلميحات مكلفة من نموذج كبير. ويبقى التحقق مما إذا كانت النتيجة ستتكرر على نماذج أخرى وفي مجالات أخرى.