MULTIFINGROUND: نماذج LLM تتعرف على المفاهيم المحاسبية بدقة 99%، لكنها تفقد الوقائع

تكاد النماذج اللغوية لا تخطئ في فهم بند التقرير المالي الذي يدور حوله النص، لكنها تتعثر حين يُطلب منها جمع كل الأرقام المرتبطة به. أجرى مؤلفو معيار MULTIFINGROUND اختبارًا على 15 نموذجًا باستخدام الإفصاحات السنوية لـ 90 جهة مُصدرة عن السنة المالية FY2025، بالإنجليزية والفرنسية واليونانية. وتتعرف ثمانية نماذج مرجعية، بعضها عبر API وبعضها open-weight، على المفهوم المحاسبي بدقة تتراوح بين 97,3% و99,4%. ومع ذلك تفوّت في 26,6–41,9% من المجموعات التي تعرفت عليها بشكل صحيح واقعة مستهدفة واحدة على الأقل.

كيف يعمل المعيار

تقوم مقارنة التقارير المالية بين الدول على مهارتين. الأولى أن يدرك النموذج أن صياغات مختلفة بلغات مختلفة تصف المفهوم المحاسبي نفسه. والثانية أن يعثر على كل الأرقام التي تعبّر عن هذا المفهوم، في القوائم الأساسية والإيضاحات والنص التفسيري. تقيس الاختبارات الحالية هاتين المهارتين كلًا على حدة، ولذلك يصعب أن نعرف من نتائجها هل يتحقق الأمران معًا على المادة نفسها.

يسد MULTIFINGROUND هذه الفجوة. فالتقارير مُعدّة بشكل مستقل وليست ترجمات لبعضها، ولذلك لا يستطيع النموذج الاستعانة بنص موازٍ. وقد وازن المؤلفون بين الوثائق عبر تصنيف محاسبي مشترك، وأعدّوا تعليقات توضيحية على مستوى الوقائع المنفردة يمكن تتبعها إلى مصدرها. ويختبر المعيار أربع مهام:

• تحديد الواقعة المالية؛
• التعرف على المفهوم؛
• الانتقاء الشامل لكل الوقائع المتعلقة بالمفهوم؛
• التمييز بين المفاهيم دون مرشحات محددة مسبقًا.

ماذا تكشف الأرقام

أبرز معايير الدراسة ونتائجها:

• 90 جهة مُصدرة، وتقاريرها عن السنة المالية FY2025؛
• 3 لغات: الإنجليزية والفرنسية واليونانية؛
• 15 نموذجًا خضعت للاختبار؛
• 97,3–99,4% دقة التعرف على المفهوم لدى ثمانية نماذج مرجعية؛
• 26,6–41,9% من المجموعات المُتعرَّف عليها بشكل صحيح فاتتها واقعة واحدة على الأقل.

يصف عنوان الورقة، Recognition Is Not Grounding، النتيجة بدقة. فالتعرف على المفهوم أقرب إلى التصنيف: يرى النموذج السياق ويختار التسمية. أما الاستخراج الشامل فمختلف في طبيعته. إذ يجب أن يمر النموذج على المادة كلها، ويحكم على كل رقم، ولا يُسقط شيئًا. وقد يفهم النموذج بلا خطأ أن الحديث، مثلًا، عن الإيرادات، ثم يعجز مع ذلك عن جمع كل مواضع ظهورها في الوثيقة. ولا يكشف المؤلفون في الملخص عن الأسباب. لكن هذه الفجوة لا تظهر إلا لأن المهارتين قيستا على البيانات نفسها.

وثمة نتيجتان أخريان لا تقلان أهمية. فجودة التمييز بين المفاهيم من دون مرشحات جاهزة تتفاوت كثيرًا بين النماذج، أي أن الصياغة المفتوحة للمهمة تُسقط نماذج أكثر مما يُسقطه الاختيار من قائمة جاهزة. أما النماذج المتخصصة في المجال المالي ضمن العينة فحققت مكسبًا محدودًا. فالتدريب الإضافي على نصوص القطاع لا يحل مشكلة الاكتمال.

ما الذي يجب فحصه في خط المعالجة لديك

إذا كنت تبني نظامًا لاستخراج البيانات من التقارير المالية، مثلًا لفرز الجهات المُصدرة أو لمقارنة شركات من ولايات قضائية مختلفة، فإن accuracy تصنيف المفاهيم مقياس مضلل. فرقم 99% يبدو مقنعًا، لكنه لا يبيّن كم واقعة من المجموعة وصلت فعلًا إلى الجدول النهائي. والمقياس الأنسب هو recall على مستوى الوقائع، والأفضل منه نسبة المجموعات التي عُثر فيها على كل الأرقام المستهدفة.

ينبغي الاختبار كذلك دون قائمة مرشحين، فالتصنيف المحاسبي نادرًا ما يُقدَّم للنموذج جاهزًا في المهام الواقعية. ومن المفيد احتساب النتائج لكل لغة على حدة، خصوصًا إن كان بينها لغات أقل موارد مثل اليونانية. ولا يُنصح حتى الآن بشراء نموذج مالي متخصص طمعًا في اكتمال أفضل، فبحسب هذه البيانات المكسب ضئيل. والأجدى إضافة تمريرة ثانية، ومطابقة برمجية للأرقام المستخرجة مع التصنيف المحاسبي حيثما وُجد، ومراجعة يدوية للبنود الحرجة. فالنموذج الذي يسمّي المفهوم تسمية صحيحة لا يضمن بعدُ أنك حصلت على كل الأرقام التي يقوم عليها.