Ai2 يكشف: قضاة الجدّة من نماذج LLM ينهارون بمجرد تغيير كلمات قليلة في الموجّه

نشرت Ai2 دراسة Old Ideas, Novel Problems، وأرفقت بها معيارًا وبيانات وشيفرة وخط معالجة آليًا (pipeline) لبناء مجموعات تقييم جديدة. والاستنتاج مزعج لكل من يبني علمًا مؤتمتًا: قضاة الجدّة من نماذج LLM شديدو عدم الاستقرار. فتغيير واحد في صياغة الموجّه يحرّك دقة GPT-5.4 بمقدار 52,6 نقطة، من 93,5% إلى 40,9%. وفي الوقت نفسه، جاءت الأنظمة المتخصصة الباهظة أسوأ من موجّه بسيط موجّه إلى Claude Opus 4.6.

كيف بُني المرجع من مراجعات ICLR 2026

تنتج مولّدات الأفكار، مثل DataVoyager وAutoDiscovery وTheorizer ومنصة Asta من منظومة Ai2، فرضيات أسرع مما يستطيع البشر قراءتها. وكثيرًا ما يُكلَّف نموذج آخر، هو «قاضي الجدّة»، بتصفيتها. ولا توجد وصفة موحّدة لهذا القاضي: فكل فريق يختار بنفسه النموذج والموجّه وصيغة المقارنة وميزانية الاستدلال، وأحيانًا البحث في الأدبيات. أما التحقق من القضاة فيجري عادةً على أوراق بشرية، لا على أفكار الذكاء الاصطناعي التي سيقيّمونها لاحقًا.

وللحصول على وسوم مرجعية، لم يعتبر المؤلفون قبول الورقة دليلًا على الجدّة. فقد استخرجوا من مراجعات ICLR 2026 مقاطع يناقش فيها المراجعون الأصالة صراحةً. ومن ذلك تكوّنت مجموعتان:

• 154 فكرة عالية الجدّة: أوراق مقبولة من أفضل 10% في مجالها، أشاد فيها المراجعون بالجدّة ولم يعترض عليها أحد؛
• 145 فكرة منخفضة الجدّة: أوراق مرفوضة من أدنى 10%، شكّك فيها المراجعون في الأصالة ولم يرَ أحد فيها جدّة.

التحقق من الوسم: وافق المُعلِّق على اتجاه الإشارة في 47 حالة من 50، ولم يكن أي اختلاف ليغيّر تفسير المراجع. يقارن السيناريو الأول، Human-Only، بين أفكار بشرية. وفي الثاني، Human+Generated، تُقرن الأفكار البشرية نفسها (154 فكرة) بـ154 فكرة من مولّد LLM بسيط. وقد تلقّى هذا المولّد مجال البحث فقط وطلبًا باقتراح فكرة جديدة، دون بحث أو أدوات أو تكرارات. وسوم الأفكار المولَّدة ضعيفة، لكن خبيرًا راجع 30 زوجًا وفضّل الفكرة البشرية في جميعها، ولم يعتبر أي فكرة مولَّدة جديدة.

عبارة واحدة في الموجّه: خسارة 52 نقطة

كان القضاة ستة: GPT-5.1 وGPT-5.2 وGPT-5.4 وClaude Sonnet 4.5 وClaude Opus 4.5 وClaude Opus 4.6. وغيّر المؤلفون عاملًا واحدًا في كل مرة: الموجّه، وميزانية الاستدلال، والوصول إلى الأوراق ذات الصلة، وصيغة الأفكار، وعدد الأحكام المجمَّعة، والنموذج المولّد. وكان الموجّه الأشد تأثيرًا.

عُرضت على GPT-5.4 أزواج Human+Generated بموجّهين. في الأول، أُخبر أن المراجعين اعتبروا فكرة واحدة بالضبط من الزوج جديدة، وطُلب منه تحديدها. وفي الثاني، سُئل ببساطة أي الفكرتين جديدة. انخفضت الدقة من 93,5% إلى 40,9%، وتغيّر الحكم في أكثر من نصف الأزواج. أما على Human-Only فقد أحدث التغيير نفسه فارقًا يقارب سبع نقاط، مع أن Claude Opus 4.6 خسر هناك 21 نقطة. فقد يبدو القاضي مستقرًا على الأعمال البشرية، ثم يتصرف بشكل مختلف على أفكار الذكاء الاصطناعي.

لا يوجد موجّه عالمي. فإذا أُزيلت التعليمات التي تقضي بعدم اعتبار المساهمات التافهة والتدريجية جديدة، ترتفع دقة بعض القضاة وتنخفض عند آخرين. وعند مقارنة أفكار مولّدين اثنين (Opus 4.5 مقابل Sonnet 4.5، وGPT-5.4 مقابل GPT-5.1)، يتغيّر من ربع الأحكام إلى ثلثها. ويُقاس هذا دون افتراض أي شيء عن أي المولّدين أقوى.

الأنظمة الباهظة خسرت أمام موجّه رخيص

ملاحظة أخرى غير متوقعة تتعلق بالبحث والاستدلال. فقد حقق قاضٍ وكيلي (agentic) على GPT-5.6 Sol بأقصى ميزانية استدلال وبحث تكراري في arXiv نتيجة 0,78 macro-F1. أما Claude Opus 4.6 مع خمسة ملخصات عُثر عليها مسبقًا فحقق 0,89. وكلّف الوكيل نحو 10 أضعاف للقرار الواحد.

ولم تساعد الأنظمة المتخصصة أيضًا (جميعها على Claude Opus 4.6، Human+Generated):

• موجّه Opus 4.6 البسيط، بمستوى استدلال منخفض وتصويت بالأغلبية على ثلاثة استدعاءات: 0,854 macro-F1، و2,59 دولار للتشغيل كاملًا؛
• Idea Novelty Checker (بحث في الأدبيات مع إعادة ترتيب): 0,642 macro-F1، و30,66 دولار؛
• AI Scientist من Sakana AI (بحث تكراري في Semantic Scholar): 0,772 macro-F1، و82,05 دولار.

وتبيّن أن الخيار الأساسي البسيط أرخص بمقدار 12–32 مرة وأدق من كليهما.

ما الذي ينبغي فحصه في خط تقييمك

إذا كان نظامك يرتّب الأفكار أو الفرضيات أو المهام البحثية أو يستبعد بعضها باستخدام LLM، فلا ينبغي الوثوق بحكم موجّه واحد. شغّل القاضي على صياغتين أو ثلاث على الأقل، واحسب نسبة الأحكام التي تغيّرت: فالتباين يُقاس دون أي وسوم. وافحصه على الأفكار المولَّدة تحديدًا، لا على الأوراق البشرية وحدها. ولا تعتمد البحث الوكيلي الباهظ خيارًا افتراضيًا: ابدأ بموجّه بسيط وتصويت من ثلاثة استدعاءات، ولا تدفع أكثر بمقدار 10–30 مرة إلا بعد ذلك، مقابل مكسب قابل للقياس. شيفرة Ai2 وبياناتها مفتوحة، ويمكن إعادة استخدام خط المعالجة على مراجعات مؤتمرات ومجالات أخرى.