في EMNLP: مراجع آلي كتب تقييمات أطول بثلاثة أضعاف من تقييمات البشر

تعرض على النموذج فرضية منتج فتحصل على عشرين ملاحظة: أضف مقارنة، وسّع العينة، تحقق من ثلاثة سيناريوهات أخرى. يبدو ذلك عملًا دقيقًا. لكن أيّ هذه المطالب قادر على تغيير قرار الإطلاق؟ في مراجعة EMNLP تصف الباحثة في AIRI ماريا مارينا مشكلة مشابهة في المراجعات الآلية للأوراق العلمية. وهذا الموضوع مفيد لكل من يستخدم الذكاء الاصطناعي لفحص عمل الآخرين.

وبحسب روايتها، كان أحد الأنظمة يكتب تقييمات يزيد وسيط طولها على ثلاثة أضعاف طول التقييمات البشرية. وفي الوقت نفسه رأى مؤلفو الأوراق أن نقد النماذج أقل إقناعًا. إنه وضع مألوف: ازداد النص، لكن ترتيب الأولويات ما زال على عاتق الإنسان.

ما الذي اختبره المنظمون

شارك في التجربة الموصوفة ثلاثة أنواع من المراجعين الآليين: نظام AAAI المبني على GPT-5.4، وReviewerToo مع نموذجي GPT-OSS-120B وGLM-4.7 Flash. تلقّى المؤلفون التقييمات المولَّدة طوعًا وقيّموا جودتها. أما اللجنة التي اتخذت قرارات النشر فلم تطّلع على هذه التقييمات. أي أن التجربة درست فائدة الملاحظات، لا إمكانية انتقاء الأعمال العلمية آليًا.

وبحسب التقديرات الواردة في المراجعة، نقلت النماذج مضمون الأبحاث جيدًا وأشارت إلى نقاط القوة. أما الملاحظات النقدية فكانت أضعف. وكان النظام المبني على GPT-5.4 الأكثر إسهابًا، بينما كانت الفجوة مع التقييمات البشرية أصغر لدى النظامين الآخرين.

وتنقل مارينا على حدة اعتراضات مؤلفين رفضوا المشاركة: الذكاء الاصطناعي يتشبث بالتفاصيل ويطلب تجارب إضافية ويقلّل من قيمة جِدّة الفكرة. ومن المهم هنا التمييز بين مصادر الاستنتاجات. فهذه تعليقات مشاركين رفضوا، لا نتيجة مقاسة لمقارنة جميع المراجعات. كما أن المراجعة نفسها لا تعطي أساسًا لاعتبار كل مطلب للنموذج خاطئًا.

لماذا قد تعيق قائمة الملاحظات

لنتخيل فريقًا يتحقق مما إذا كان محرك بحث جديد يساعد الموظفين على إيجاد التعليمات أسرع. يقترح النموذج توسيع العينة، ومقارنة عدة طرق للترتيب، وإضافة لغات أخرى، وقياس النتائج بعد ستة أشهر. كل توصية تبدو معقولة. لكن وزنها يختلف بالنسبة للقرار القريب.

إذا كان القياس الأولي لزمن البحث غير موثوق، فالاستنتاج الرئيسي فعلًا موضع شك. أما اختبار لغة أخرى فقد يلزم لاحقًا، عندما يدخل الفريق سوقًا جديدة. وإذا جُمعت الملاحظتان في قائمة إلزامية واحدة، فسهل أن يتحول مشروع تجريبي صغير إلى مشروع يستغرق أشهرًا. وهذا توضيح لخطر عملي، لا نتيجة لتجربة EMNLP.

والمنطق نفسه يعمل في المراجعة العلمية: غياب مقارنة مهمة قد يُفقد الاستنتاج قيمته، بينما الاختبار الإضافي يوسّع نطاق تطبيقه فحسب. وفي المراجعة تقترح مارينا النظر بتمعّن أكبر إلى إسهام البحث والفصل بين الفحوص الضرورية والرغبات في جعل عمل كبير أصلًا أكبر.

ومع ذلك، فالتقييم الطويل لا يثبت شيئًا بحد ذاته. فقد يتضمن اكتشافات مفيدة. كما أن استياء المؤلف لا يعني أن المراجع مخطئ: فالملاحظة المزعجة تشير أحيانًا إلى ضعف حقيقي. المطلوب هو التحقق من كل اعتراض جوهري بالرجوع إلى مواد العمل.

كيف نستفيد من ذلك في الفريق

من التجربة الموصوفة يمكن استخلاص أسلوب عملي: أن نطلب من النموذج ربط كل ملاحظة بقرار محدد. أيّ استنتاج ينازع فيه؟ إلى أي جزء من الوثيقة يستند؟ ما أدنى فحص يتيح حسم الأمر؟ وماذا سيتغير إذا تأكدت الملاحظة؟

بعد ذلك يسهل على الإنسان أن يميّز الأخطاء التي تعطّل القرار من التحسينات التي يمكن تأجيلها. فمثلًا، يجب أن يقترن مطلب إضافة تجربة أخرى بشرح لنوع عدم اليقين الذي تزيله. وبدون ذلك يخاطر الفريق بإضاعة الوقت على رغبات صيغت بإقناع.

ولتقييم المراجع الآلي نفسه، من المفيد النظر في عدد ملاحظاته التي تأكدت وعدد الأخطاء الجوهرية التي فاتته. وهذا استنتاج تحريري للتطبيق العملي؛ فالمراجعة لا تورد مثل هذه المقاييس. إنها تُظهر أمرًا أضيق: قدّر المشاركون إعادة السرد ووصف المزايا أكثر من جودة النقد.

لذلك يصح أصلًا أن نوكل إلى النموذج التحليل الأولي إذا تحقق الفريق من نتائجه. أما القرار بشأن كفاية الأدلة للخطوة التالية فيتطلب فهم المهمة وكلفة الفحص الإضافي وعواقب الخطأ. وحجم التقييم المولَّد لا يختصر هذا العمل تلقائيًا.