EDU-Jev 4B يقيّم أعمال الطلاب بدقة 67,6% ويتفوق على واجهات API التجارية بـ9,4 نقطة مئوية

قدّم فريق من King's College London (Jiazheng Li وYulan He) EDU-Jev، وهي عائلة من النماذج الصغيرة للتقييم الآلي للأعمال الدراسية. لا تكتب نماذج 0,8B و2B و4B أي استدلال. فهي تتلقى سياق المهمة وسؤالًا مرفقًا بخيارات محددة مسبقًا، وتعيد في تمريرة أمامية واحدة توزيعًا احتماليًا على هذه الخيارات. وعلى اثني عشر معيارًا تعليميًا، سجّلت نسخة 4B متوسط دقة بلغ 67,6%. وهذا أعلى بمقدار 9,4 نقطة مئوية من أقوى واجهة API تجارية من بين خمس واجهات لمثل هذه القرارات، وأعلى بمقدار 18,7 نقطة من أفضل نموذج مفتوح بحجم 4B من النوع نفسه.

لماذا يحتاج التقييم إلى «النظام 1»

تتشابه معظم القرارات في التعليم في بنيتها: منح الإجابة درجة من 0 إلى 3 وفق معيار تصحيح، أو التحقق من وجود معيار معيّن في النص، أو تحديد أول خطوة خاطئة في الحل. والخيارات معروفة سلفًا. وعادةً ما تؤدي النماذج التوليدية هذه المهام عبر الاستدلال ثم وضع تصنيف نهائي، ويحدد الباحثون ثلاث مشكلات في هذا النهج. أولها أن الإجابة تحتاج إلى تحليل نصي، وقد تخرج عن الخيارات المسموح بها. وثانيها أن التكلفة ترتفع مع طول المخرجات، إذ تستهلك نماذج الاستدلال عددًا كبيرًا من الرموز حتى في الحالات البسيطة. وثالثها أن الثقة التي يعبّر عنها النموذج بالكلمات لا يلزم أن تطابق الاحتمال الفعلي للخطأ، مع أن هذا الاحتمال هو ما يلزم لإحالة الحالات المشكوك فيها إلى مراجعة بشرية.

كانت شركة TypeSafe AI قد قدّمت سابقًا واجهة «القرارات المنمَّطة» في نموذجها المستضاف Jev (اختُبر في الدراسة عبر API الإصدار 1.14). وللمقارنة تتوفر مجموعة JevBench العامة المستقلة. أما النماذج المفتوحة المماثلة، بحسب بيانات الباحثين، فقد دُرّبت في الغالب على بيانات عامة، وأداؤها ضعيف في التقييم وفق معيار التصحيح.

Pointer head والتسميات المرنة

بدلًا من رأس اللغة، يستخدم EDU-Jev رأسًا من نوع pointer head. يوضع رمز علامة بعد كل خيار إجابة في الطلب، ويوضع رمز القرار في النهاية. ثم تقرأ شبكة MLP من طبقتين بأوزان مشتركة الحالة المخفية لكل علامة وتُخرج قيمة logit، ويُحسب softmax على الخيارات المعلنة فقط. وبذلك يمكن للنموذج أن يخطئ في الاختيار، لكنه لا يمكن أن يُخرج إجابة غير صالحة. وفي تجارب مضبوطة على نموذج 0,8B، كان الرأس «الحرفي» الذي يقرأ قيم logit للتسميات A/B/C أسوأ بفارق ملحوظ، وكان يعطي الإجابة نفسها أقل بمقدار 3,5 نقطة عند تبديل ترتيب الخيارات.

يجري التدريب في مرحلة واحدة باستخدام الإنتروبيا التقاطعية المرنة. والهدف هو توزيع تقديرات المصحّحين إن كان عددهم أكثر من واحد، وإلا فيُستخدم ترميز one-hot. واعتمد الباحثون على Qwen3.

5 مع ضبط دقيق كامل. تضم مجموعة البيانات نحو 1,5 مليار رمز، أو 4,6 مليون قرار: تقييم الإجابات القصيرة والمقالات، والتحقق خطوة بخطوة من الحلول، وأخطاء الطلاب، وحوارات مع المعلمين الخصوصيين، وأغلبها بالإنجليزية والصينية. وينتهي جدول معدل التعلم من نوع warmup-stable-decay على ذيل من الحقبة لم يره النموذج بعد، وتُستخرج الأوزان النهائية بمتوسط ثلاث نقاط حفظ (منتصف التدريب وثلاثة أرباعه ونهايته).

ويقول الباحثون إن هذا يكلّف بضعة أعشار من النقطة على بيانات من توزيع التدريب، ويمنح نحو نقطة واحدة خارجه. ولم يتفوق التعلم المعزز على مخرجات pointer على مواصلة التدريب الخاضع للإشراف المعتاد (supervised).

ماذا أظهرت القياسات وأين حدودها

على 20 مجموعة بيانات موزعة بين القرارات العامة والاستدلال والتعليم، سجّل نموذج 4B نسبة 67,6%، مقابل 45,2–48,9% للنماذج المفتوحة بحجم 4B، و49,2–58,2% لواجهات API التجارية. وسجّلت نسختا 2B و0,8B نسبة 63,2% و62,8%، أي إنهما تفوقتا أيضًا على جميع النماذج المرجعية في متوسط الأداء التعليمي. وعلى أربع مجموعات تعليمية من مجالات أخرى، تعادل 4B مع أقوى واجهة API. ويعالج نموذج 2B نحو 150 قرارًا في الثانية على بطاقة H100 واحدة.

لكن النموذج لم يصبح شاملًا. ففي القرارات العامة يتأخر 4B عن واجهات API بمقدار 3,2–6,7 نقطة مئوية، وفي الاستدلال يتأخر عن ثلاث منها بمقدار 2,2–3,7 نقطة. ومن بين النماذج المفتوحة بحجم 4B، تعادل مع JevK5-4B وتأخر بمقدار 1,3 نقطة عن OpenJev-4B. وحقق زيادة الحجم مكسبًا أكبر في نقل المعرفة إلى مجالات أخرى وفي الاستدلال العام مما حققه في الدقة داخل مجال التقييم نفسه.

وثمة تحفظات منهجية أيضًا. فقد جرى التحقق من المعايرة تجريبيًا عبر خطأ المعايرة المتوقع (ECE) على 15 فترة ودون ضبط بالحرارة. وهذا ليس ضمانًا على بيانات جديدة. وتأخذ فترات الثقة في الحسبان عينة المهام فقط، ولا تأخذ التباين بين عمليات التشغيل. وبعض التسميات في التدريب اصطناعي، إذ أنتجتها نماذج تابعة لجهات خارجية. والتقييم من دون معيار تصحيح أو إجابة مرجعية أو نقاط رئيسية غير مدعوم عمدًا. وأخيرًا، لا يشرح النموذج تقييمه، وفي السيناريوهات التي تتطلب تعليلًا للطالب أو المعلم سيلزم إضافة طبقة منفصلة.

أما بالنسبة إلى الفرق التي تبني أنظمة للتصحيح الآلي، فالاستنتاج عملي. إذا كانت القرارات تقتصر على الاختيار من مجموعة ثابتة وفق معيار تصحيح، فقد يكون نموذج صغير بمخرجات منمَّطة أدق وأرخص من مقيّم توليدي. والاحتمالات صالحة لتوجيه الحالات غير المؤكدة إلى مراجع بشري.