TII تطلق QIMMA: لوحة صدارة للنماذج اللغوية العربية مع التحقق من جودة معايير التقييم

أطلق TII لوحة QIMMA، وهي لوحة صدارة جديدة للنماذج اللغوية الكبيرة العربية تغيّر أسلوب تقييم النماذج نفسه: يتحقق الفريق أولاً من جودة المعايير، ثم ينشر النتائج. وأظهر القائمون على المشروع أن حتى مجموعات البيانات العربية المعروفة تحتوي على أخطاء منهجية تشوّه الدرجات النهائية.

ما هي QIMMA

تجمع QIMMA بين 109 مجموعات فرعية من 14 معياراً أصلياً في نظام تقييم موحّد يضم أكثر من 52 ألف مثال. والتغطية واسعة: الثقافة، ومجالات STEM، والقانون، والطب، والسلامة، والشعر والأدب، إضافة إلى البرمجة. وبحسب المؤلفين، فإن 99% من محتوى المجموعة عربي في الأصل، وليس مترجماً من الإنجليزية. وهذا مهم لأن الاختبارات المترجمة كثيراً ما تفسد السياق الطبيعي، وتنتج صياغات ركيكة، وتمنح النموذج مهام لا تعكس الاستخدام الفعلي للغة العربية.

وفي ضوء ذلك، لا تُقدَّم QIMMA على أنها مجرد جدول درجات آخر، بل كمحاولة لمعالجة عدة مشكلات قديمة في معالجة اللغة العربية (NLP) دفعة واحدة: تشتت لوحات الصدارة، وضعف إمكانية إعادة إنتاج النتائج، وغياب النتائج على مستوى كل سؤال، وإجابات gold غير المتحقق منها. ويشدد المؤلفون على فارق آخر: هذه أول لوحة صدارة عربية يُدمج فيها تقييم الشيفرة البرمجية. ولهذا الغرض أُضيفت إليها نسختان عربيتان معدّلتان من HumanEval+ وMBPP+، لاختبار ليس معرفة اللغة فحسب، بل أيضاً قدرة النموذج على فهم مهام البرمجة المصاغة بالعربية.

كيف تجري عملية التحقق

الجزء الأساسي في المشروع هو خط معالجة (pipeline) للتحقق من مرحلتين. قبل تشغيل النماذج، يفحص نموذجان كبيران كل مثال بشكل مستقل: Qwen3-235B-A22B-Instruct وDeepSeek-V3-671B. ويقيّمان المهام وفق مقياس من عشرة معايير ثنائية. وإذا منح أحد النموذجين المثال أقل من 7 من 10، يُعدّ المثال إشكالياً: فإذا اتفق النموذجان على ذلك يُستبعد المثال فوراً، أما الحالات الخلافية فتُحال إلى مراجعة يدوية يجريها متحدثون أصليون للغة ملمّون بالفروق الإقليمية واللهجية.

تتحقق QIMMA من المعايير قبل تقييم النماذج، كي تعكس الدرجات النهائية

الجودة الحقيقية للنماذج اللغوية العربية.

وسلك الفريق مساراً مختلفاً مع معايير الشيفرة البرمجية. فبدلاً من حذف المهام، أعاد الباحثون صياغة النصوص العربية دون تغيير المعرّفات والحلول المرجعية ومجموعات الاختبار. ففي HumanEval+ صُحّح 145 من 164 موجّهاً (prompt)، أي 88%، وفي MBPP+ صُحّح 308 من 378، أي 81%. وشملت التعديلات عدة جوانب:

• تطبيع اللغة إلى العربية الفصحى المعاصرة الطبيعية
• إزالة الغموض وتوضيح القيود
• توحيد المصطلحات وعلامات الترقيم وتنسيق الأمثلة
• تصحيح الأخطاء البنيوية مثل الأسطر المقطوعة والمقاطع النصية التالفة
• توضيح المعنى حيث كانت النطاقات أو الشروط تُقرأ على أكثر من وجه

ما المشكلات التي وُجدت

أظهر الفحص أن الأمر لا يتعلق بهفوات فردية، بل بعيوب متكررة في مجموعات البيانات نفسها. فعلى سبيل المثال، استبعد الفريق من ArabicMMLU عدد 436 مثالاً، أي 3,1% من مجموعة البيانات، ومن MizanQA عدد 41 مثالاً، أي 2,3%. وكانت هناك نسب عيوب أقل، لكن الصورة تكررت عبر مجموعات مختلفة: أخطاء في الإجابات الصحيحة، ونصوص غير مقروءة، ومكررات، وتصنيفات مثيرة للجدل ثقافياً، وعدم اتساق بين إجابة gold وطريقة التقييم. وبعبارة أخرى، ظلّ جزء من المعايير العربية الشائعة يُستخدم وكأنه خالٍ من الأخطاء، مع أن الواقع غير ذلك.

على المجموعة المنقّاة، جاء Qwen3.5-397B-A17B-FP8 في الصدارة بمتوسط درجات 68,06. وحلّ Karnak ثانياً بـ 66,20، وJais-2-70B-Chat ثالثاً بـ 65,81. ويلفت المؤلفون إلى أن حجم النموذج لا يضمن أفضل نتيجة. فالنماذج المتخصصة بالعربية كثيراً ما تتفوق في المهام الثقافية واللغوية، بينما تتفوق الأنظمة متعددة اللغات في البرمجة: إذ حقق Qwen3.5-397B أفضل النتائج في كل من HumanEval+ وMBPP+. أي أن QIMMA مفيدة ليس كترتيب فحسب، بل أيضاً كخريطة لنقاط القوة لدى معماريات مختلفة.

ماذا يعني ذلك

تُحدث QIMMA تحولاً بسيطاً لكنه مهم: لم يعد كافياً مقارنة النماذج اللغوية الكبيرة دون التحقق من الاختبارات نفسها. وقد يصبح هذا معياراً جديداً للتقييم في السوق العربية، وتذكيراً للمطورين بأن جودة المعيار تؤثر في سمعة النموذج بقدر ما يؤثر فيها النموذج نفسه.