إطار AICG من NC State يخفّض MAE بنسبة 50,3% عند تقييم الإجابات الرياضية

اقترح فريق من قسم علوم الحاسوب في جامعة ولاية كارولاينا الشمالية إطار AICG للتقييم الآلي للإجابات الرياضية القصيرة. تتعلم نماذج التقييم المعتادة (ASAG) المبنية على المحوّلات (transformers) التنبؤ بالدرجة فقط. أما AICG فيضيف إلى ذلك تقدير مهارات الطالب، وتصحيحًا يراعي احتمال الاستعانة بالذكاء الاصطناعي التوليدي. اختُبر الإطار على 49 402 إجابة صحّحها مدرّسون على مدى 19 فصلًا دراسيًا، وانخفض متوسط الخطأ المطلق (MAE) بنسبة 50,3% مقارنةً بالانحدار على RoBERTa. وارتفعت كابا التربيعية الموزونة (QWK، وهي مقياس اتفاق النموذج مع المدرّس يراعي حجم التباين بين التقديرين) من 0,798 إلى 0,927.

لماذا لا تكفي الدرجة وحدها

الإجابة الرياضية خليط من النص والصيغ والحسابات غير المكتملة. تُمنح الدرجة الجزئية على خطوات الاستدلال الظاهرة، لا على النتيجة النهائية وحدها. يسوق المؤلفون مثالًا لطالب يطبّق الاستقلال الشرطي مرتين بشكل صحيح، لكنه يتوقف قبل قاعدة بايز ويكتب أنه لا يعرف كيف يواصل. الدرجة تسجّل النقاط المكتسبة، لكنها لا تبيّن أي مهارة أخفقت. قد تخفي إجابتان بالتقييم نفسه مستويين مختلفين من الفهم، ويعمّم النموذج المدرَّب على تسمية عددية فقط بشكل أضعف على أساليب الحل غير المألوفة.

لهذا يضم AICG فرعين يتشاركان مشفّر RoBERTa واحدًا. يقيّم الفرع الأول الإجابة الواحدة بثلاثة رؤوس: رأس انحدار يعطي درجة متصلة، ورأس ترتيبي يعطي تقييمًا مرتبًا، ورأس تصنيف يختار إحدى خمس فئات. وتؤخذ الدرجة النهائية من الرأس الترتيبي. أما الفرع الثاني فيستخدم مصفوفة Q التي أعدّها خبراء، وهي تربط كل مهمة بالمهارات الخاضعة للتحقق منها، وعددها عشر. وعبرها يتنبأ النموذج بإتقان كل مهارة قبل المقرر وبعده، وبمقدار اكتساب المعرفة. وتُحسب القيم المستهدفة بنموذج G-DINA، وهو نموذج تشخيص معرفي يستنتج إتقان المهارات من أنماط الإجابات. لا تُغذّى الفرع المعرفي بالدرجات المتوقعة، ولذلك يعمل مصدرًا مستقلًا للإشارة بالنسبة إلى المشفّر المشترك.

تُظهر تجارب الاستئصال (ablation) أن الجزء الأكبر من المكسب يأتي تحديدًا من الإشارة المعرفية المبنية على مصفوفة Q.

كيف يراعي الإطار المساعدة بالذكاء الاصطناعي

قد تكون الإجابة السلسة والصحيحة اليوم حلًّا من صنع غيره. ستنال تقييمًا مرتفعًا، لكنها ستُضخّم تقدير الإتقان المستقل. لذلك درّب المؤلفون كاشفًا منفصلًا للمساعدة بالذكاء الاصطناعي على RoBERTa: بدءًا بتدريب مسبق تبايني (contrastive)، ثم مصنّف خطي، ثم معايرة الحرارة (temperature calibration).

بُنيت بيانات التدريب على النحو التالي. أُخفي جزء من نص الإجابة الحقيقية للطالب (30–50%)، وأكمل نموذج DeepSeek العامل دون اتصال المواضع الناقصة، فبقي 50–70% من النص الأصلي. وأُدرجت الإجابات الصحيحة المولَّدة بالكامل أيضًا في فئة «مساعدة الذكاء الاصطناعي». من أصل 26 039 إجابة حقيقية، اختير 14 044 وبُنيت لكل منها نسخة واحدة بالذكاء الاصطناعي، فنتج 28 088 مثالًا متوازنًا. وجرى الاختبار على مولّدات أخرى بمخطط leave-one-generator-out، وعلى الفصول F14–S17 باستخدام 11 458 مثالًا موسومًا.

يتحول احتمال وجود مساعدة إلى وزن موثوقية ناعم له حدّ أدنى، ولا يوجد عتبة صارمة. تؤثر الإجابة المشبوهة بدرجة أقل في تقدير الإتقان وفي القيم المستهدفة لـ G-DINA، لكنها لا تُستبعد. ولا يؤثر هذا الوزن في تقييم الإجابة نفسها. عند عتبة 0,5 وسم الكاشف 2 896 إجابة من أصل 13 874 في الفصول F22–F24 (20,87%). وخفّض الترجيح إجمالي MAE بنسبة 4,2% إضافية مقارنةً بالنموذج المعرفي بلا أوزان، وحسّن MAE وQWK باطّراد في الفصول الأربعة الأخيرة من عصر الذكاء الاصطناعي التوليدي.

ما الذي يبقى موضع تساؤل

قورن AICG بخمسة نماذج أساس قوية بمخطط النافذة الموسّعة: يُقيَّم كل فصل دراسي استنادًا إلى الفصول السابقة فقط. وهذا أقرب إلى النشر الفعلي من التقسيم العشوائي. لكن للنتيجة حدودًا. فجميع البيانات مأخوذة من جامعة واحدة ومجال دراسي واحد. وقد أعدّ الخبراء قائمة المهارات العشر ومصفوفة Q يدويًا، وسيتعيّن تكرار هذا العمل في أي مقرر آخر. كما دُرّب الكاشف على مساعدة اصطناعية (يُكمل DeepSeek الإجابات المقنَّعة)، لا على حالات استخدام حقيقية لـ ChatGPT من الطلاب. ولذلك تبقى نسبة 20,87% تقديرًا من النموذج، لا واقعة غشّ مؤكدة. وإضافة إلى ذلك، ينقطع المقتطف المعروض في المادة قبل وصف بقية نماذج الأساس والجداول الكاملة، لذا يلزم التحقق من المقارنة مع كل منها في النسخة الكاملة من الورقة.

والخلاصة العملية لمطوّري المنتجات التعليمية هي التالية. لتحسين التصحيح الآلي، يمكن إضافة إشارة منظّمة عن المهارات بوصفها مهمة إضافية، بدل الاكتفاء بتكبير النموذج. وينبغي خفض موثوقية البيانات بشكل ناعم عبر الأوزان، لا حذف الإجابات المشبوهة كلها.