التقييم المباشر بواسطة LLM يرتّب الأبحاث مثل Elo، لكنه يستبعد 4,3% فقط من الأعمال الضعيفة مقابل 66,4%

تتلقى مؤتمرات ML الكبرى أكثر من 10 000 طلب سنوياً، فيما لا يزداد عدد المراجعين. فحص باحثون من جامعة إنديانا في بلومنغتون وجامعة رنمين وجامعة أنتويرب أفضل طريقة لجعل النموذج اللغوي يقيّم الأبحاث. أخذوا 232 طلباً مقدَّماً إلى مؤتمر ICLR 2025 وقارنوا بين خمسة أنظمة. يمنح التقييم المباشر (Direct) كل بحث درجة من 1 إلى 10 بشكل منفصل. أما Elo فيستخلص تصنيفاً من مقارنات ثنائية يختار فيها النموذج الأفضل بين بحثين. وفي ترتيب الأبحاث، يقترب النظامان بالدرجة نفسها من تقييمات المراجعين. لكن حين تُحوَّل الدرجات إلى قرار «قبول أو رفض»، يستبعد التقييم المباشر 4,3% فقط من الأعمال التي قيّمها المراجعون دون عتبة القبول. أما Elo فيستبعد 66,4%.

لماذا لا يؤدي الترتيب الجيد إلى قرار جيد

يضغط التقييم المباشر كل التوقعات تقريباً فوق عتبة القبول، فتمرّ الأبحاث الضعيفة مع القوية. وللوقوف على السبب، أجرى المؤلفون تجربة ضابطة: ضبطوا العتبة بحيث تطابق نسبة الأعمال المقبولة لدى كل نظام. وتبيّن أن النهج المقارن يمنح الدرجات موضعها الصحيح على المقياس، وليس ترتيباً أفضل. وبعد إعادة المعايرة، يحقق التقييم المباشر اتفاقاً أعلى مع البشر من Elo، ويجري عدداً من استدعاءات API لا يتجاوز 24% مما يحتاجه Elo.

الخلاصة العملية: لا يمكن الحكم على نظام المراجعة اعتماداً على معامل ارتباط واحد. يجب النظر إلى المعايرة والعتبة واختيار النموذج، وإلى النتيجة المحددة التي يجري التنبؤ بها.

كيف صُمِّمت التجربة

جرى تقسيم العيّنة إلى طبقات بحسب متوسط درجات المراجعين في OpenReview. أُخذ 30 بحثاً من كل فئة بين 2 و8، أما الفئات النادرة 1 و9 و10 فأُخذت منها كل الأعمال المتاحة: 7 و13 و2 على التوالي. بلغ متوسط درجات العيّنة 5,16 والانحراف المعياري 2,16.

قورن بين مجموعتين من الأنظمة. الأنظمة المطلقة تضع درجة على مقياس: Direct وAnchor وGroup Rating. يضيف Anchor إلى الطلب ثلاثة أبحاث مشابهة ذات درجات معروفة، مأخوذة من مجموعة مؤلفة من 100 بحث من ICLR 2024 أجمع المراجعون على تقييمها. ويقيّم Group Rating خمسة أبحاث دفعة واحدة، ما ينتج 46 مجموعة. أما الأنظمة المقارنة فتستخلص التصنيف من المواجهات: Elo (بمتوسط 10 مقارنات لكل بحث، و1 160 مقارنة في المجموع) وبطولة بالنظام السويسري من 8 جولات. وقد حُوِّلت تصنيفات الأنظمة المقارنة إلى مقياس 1–10، لذا لا يمكن مقارنة تضخم الدرجات وغيره من الأخطاء المطلقة مباشرة بين العائلتين.

ونوّع الباحثون أيضاً المدخلات: ثلاث صيغ لعرض البحث، منها العنوان مع الملخص (abstract) فقط، وتلخيص من 200–300 كلمة أعدّه LLM. وكُرِّرت التجربة لكل الأنظمة على ثلاثة نماذج.

ماذا أظهرت الدراسة أيضاً

• يكفي الملخص (abstract) وحده: فنتيجته أفضل من نتيجة تلخيص البحث كاملاً.
• اختيار النموذج يؤثر في النتيجة بقدر اختيار النظام.
• يعمل Anchor بشكل سيئ. ويربط المؤلفون ذلك بمجموعة المراجع: فالأبحاث ذات التباين الصفري في التقييمات تغطي جزءاً ضيقاً من المقياس (الانحراف المعياري 1,66 بمتوسط 5,14، والحد الأقصى 8,0).
• أعاد التكرار على جميع الأبحاث البالغ عددها 11 513 والتي لها درجات إنتاجَ الأنماط نفسها. يعتمد الاتفاق المطلق على تشتت الدرجات في العيّنة المقيَّمة، ولم يتفوق أي نظام في الدقة على استراتيجية «الرفض دائماً».
• تقييمات البشر تتنبأ بالاستشهادات أفضل من أي نظام. الاستثناء هو Group Rating: إذ يبقى ارتباطه بالاستشهادات قائماً بعد تصحيح أثر درجات المراجعين، وهو الوحيد الذي يرتّب الأبحاث داخل مجموعة الأعمال المقبولة أصلاً.

تحفظات على «المعيار المرجعي»

تقييمات المراجعين نفسها مشوَّشة: فلكل بحث في المتوسط 4,05 مراجع. لذلك فإن سقف الارتباط بمثل هذا المعيار أدنى بوضوح من واحد، ويجب قراءة النتائج قياساً إلى سقف العيّنة نفسها، لا قياساً إلى 1.

للدراسة سياق عملي. فالمنظِّمون يعتمدون LLM بالفعل: ففي ICLR 2025 أُجري اختبار عشوائي لتلميحات المراجعين، وأضاف AAAI 2026 مراجعة بالذكاء الاصطناعي لكل بحث في المسار الرئيسي. وتُظهر الدراسة أن التقييم المباشر الرخيص المبني على الملخص (abstract) مع إعادة المعايرة يمكن أن يكون خط أساس. لكن اتخاذ قرارات القبول استناداً إليه لا يزال مبكراً.