تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارAi2 (Allen Institute)→ المصدر

Ai2: كلمات قليلة في الموجّه تُسقط دقة GPT-5.4 في تقييم الأفكار الجديدة من 93,5% إلى 40,9%

حين تحكم شبكة عصبية على جِدّة أفكار شبكة أخرى، تتوقف النتيجة على صياغة السؤال. عرض معهد Ai2 على GPT-5.4 أزواجًا من «فكرة بشرية — فكرة من الذكاء الاصطناعي»: مع تلميح بأن فكرة واحدة بالضبط جديدة، خمّن النموذج الصحيح في 93,5% من الحالات، أما مع سؤال بسيط فبلغت دقته 40,9%، أي أسوأ من رمي العملة. لذلك ينبغي اختبار «الحَكَم» الذكي على عدة صيغ من الموجّه قبل استخدامه.

معالج بواسطة الذكاء الاصطناعي من Ai2 (Allen Institute)؛ بتحرير Hamidun News
Ai2: كلمات قليلة في الموجّه تُسقط دقة GPT-5.4 في تقييم الأفكار الجديدة من 93,5% إلى 40,9%
المصدر: Ai2 (Allen Institute). كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAi2 (Allen Institute) ↗
رئيس التحرير
حقيقة رئيسية #1كلّف الموجّه البسيط مع Claude Opus 4.6 مبلغ 2,59 دولار، بينما كلّف AI Scientist من Sakana مبلغ 82,05 دولار
حقيقة رئيسية #2الوكيل المزوّد بالبحث في arXiv تخلّف بمقدار 11 نقطة وكلّف أكثر بعشر مرات
بُني المقياس من مراجعات ICLR 2026154 فكرة قوية و145 فكرة ضعيفة

تخيّلوا نظامًا تبتكر فيه شبكة عصبية فرضيات علمية، وتقرر أخرى أيّها جديدة فعلًا وأيّها مجرد إعادة صياغة لما هو معروف. يسمّى هذا النموذج الثاني «LLM-حَكَم الجِدّة». اختبر معهد Ai2 (Allen Institute for AI) ما إذا كان يمكن الوثوق به، وخرج بنتيجة مقلقة. طُلب من GPT-5.4 أن يختار الفكرة الأكثر جِدّة من زوج «فكرة بشرية وفكرة من الذكاء الاصطناعي». حين كان الموجّه يلمّح إلى أن فكرة واحدة بالضبط من الفكرتين اعتُرف بجِدّتها، خمّن النموذج الصحيح في 93,5% من الحالات. وحين سُئل ببساطة أيّ الفكرتين جديدة، هبطت الدقة إلى 40,9%، أي دون مستوى التخمين العشوائي. تغيّرت بضع كلمات في الطلب، وبقيت الأفكار نفسها.

يمسّ هذا كل من يضع نموذج LLM مرشِّحًا أو مُصنِّفًا: من ينتقي أفكارًا لوكلاء بحثيين، أو يقارن مولّدات الفرضيات، أو يقيّم مسودات المنتجات. فإذا كان الحكم يتوقف على صياغة الموجّه، فقد تعكس الأرقام في لوحة المتابعة لديكم طلبًا موفَّقًا لا جودة الأفكار.

كيف اختُبر الحكّام

الصعوبة الرئيسية أنه لا يوجد معيار مرجعي للجِدّة. فاعتمد الباحثون على مراجعات مؤتمر ICLR 2026، وبحثوا فيها عن المواضع التي يناقش فيها المراجعون الأصالة صراحةً، لا عن واقعة قبول الورقة. فقد تُقبل ورقة لقوة تجاربها رغم أن فكرتها ثانوية، والعكس صحيح.

على هذا الأساس جُمعت مجموعتان. تضم الأولى 154 فكرة من أفضل 10% من الأعمال المقبولة، حيث أشاد المراجعون بالجِدّة ولم يعترض عليها أحد. وتضم الثانية 145 فكرة من أسوأ 10% من الأعمال المرفوضة، حيث شكّك المراجعون في الأصالة ولم يكن هناك أي مديح. ووافق المُعلِّق البشري على التقييم المستخرج في 47 حالة من أصل 50 حالة جرى فحصها.

وللسيناريو الثاني أُضيفت إلى الأفكار البشرية القوية نفسها، وعددها 154، أفكار من مولّد بسيط عددها 154. لم يُعطَ المولّد سوى مجال البحث وطلب اقتراح فكرة جديدة، من دون بحث في الأدبيات ومن دون تكرارات. وهذه التصنيفات ضعيفة، إذ عُدّت الأفكار المولَّدة أقل جِدّة افتراضيًا. وفحص خبير 30 زوجًا، ففضّل الفكرة البشرية في جميعها، ولم يصف أي فكرة مولَّدة بأنها جديدة.

وعمل ستة نماذج حكّامًا: GPT-5.1 وGPT-5.2 وGPT-5.4 وClaude Sonnet 4.5 وClaude Opus 4.5 وClaude Opus 4.6. وكانت تعطي الفكرة درجة وتختار الأكثر جِدّة من الزوج.

بضع كلمات في الموجّه تحسم كل شيء

تغيّرت النتيجة بأشد قدر بتغيّر صياغة الطلب. في الصيغة الأولى مع GPT-5.4، أخبر الموجّه النموذج بأن المراجعين وجدوا فكرة واحدة بالضبط من الفكرتين جديدة. وفي الصيغة الثانية سُئل النموذج ببساطة أيّ الفكرتين جديدة. انخفضت الدقة من 93,5% إلى 40,9%، وتغيّر الحكم في أكثر من نصف الأزواج.

وعلى أزواج من فكرتين بشريتين، لم يُحرّك الأسلوب نفسه الدقة إلا بسبع نقاط. قد يبدو الحَكَم مستقرًا على الأعمال البشرية ويتصرف بصورة غير متوقعة على أفكار الذكاء الاصطناعي، أي على الأفكار التي وُضع من أجلها أصلًا. أما Claude Opus 4.6 فبلغ التحوّل لديه على الأزواج البشرية 21 نقطة.

لا يوجد موجّه أفضل صالح للجميع. فإذا أُزيل التحذير «لا تعدّ التحسينات التافهة جديدة»، ترتفع الدقة لدى بعض النماذج وتنخفض لدى بعضها الآخر. والموجّه الناجح لا ينتقل بين النماذج. وعند مقارنة أفكار مولّدين، مثل Opus 4.5 مقابل Sonnet 4.5، تغيّر ما بين ربع وثلث الأحكام بتغيّر الموجّه. ولا يحتاج هذا الاستنتاج إلى معرفة أيّ المولّدين أفضل.

الغالي ليس بالضرورة الأدق

ثمة نتيجة أخرى تهمّ من يبني الوكلاء. حقق GPT-5.6 Sol بأقصى ميزانية استدلال وبحث حي في arXiv 78 نقطة من 100 وفق مقياس macro-F1. يبيّن هذا المقياس مدى نجاح الحَكَم في اكتشاف الأفكار الجديدة وغير الجديدة معًا: كلما ارتفع كان أفضل. أما Claude Opus 4.6 مع خمسة تعليقات توضيحية عُثر عليها مسبقًا فحقق 89 نقطة. وكلّفت النسخة الوكيلية نحو عشرة أضعاف لكل قرار.

وخسرت الأنظمة المتخصصة أيضًا. فالموجّه البسيط مع Claude Opus 4.6 بميزانية استدلال منخفضة وتصويت على ثلاث تشغيلات حقق 85,4 نقطة بتكلفة إجمالية 2,59 دولار. أما Idea Novelty Checker، وهو خط معالجة يعتمد البحث وإعادة الترتيب وفق الأدبيات، فحصل على 64,2 نقطة مقابل 30,66 دولار. وحصل AI Scientist من Sakana AI، الذي يبحث تكراريًا في Semantic Scholar، على 77,2 نقطة مقابل 82,05 دولار. وعمل النظامان على Opus 4.6.

ماذا نفعل بهذا

أولًا: أي تقييم آلي للجِدّة، سواء لانتقاء الأفكار أو ترتيب المولّدات أو الترشيح داخل نظام وكيلي، يتطلب اختبار ثبات. جرّبوا عدة صيغ للموجّه واحسبوا عدد الأحكام التي تتغيّر. ثانيًا: لا تدفعوا ثمن خط معالجة معقد قبل مقارنته بموجّه بسيط وتصويت. ثالثًا: اختبروا الحَكَم على البيانات التي سيقيّمها فعلًا، أي نصوص الذكاء الاصطناعي لا الأوراق المنشورة.

وهناك قيود أيضًا. فتصنيفات الأفكار المولَّدة ضعيفة، والمولّد كان بسيطًا عمدًا، وأساس المقياس هو مراجعات مؤتمر واحد في ML. ويصف المؤلفون أنفسهم تقييم الجِدّة بأنه مسألة مفتوحة. وقد نشر Ai2 المقياس والبيانات والشيفرة وخط المعالجة لإنشاء مجموعات تقييم جديدة، ويمكن تطبيقها على مراجعات ومجتمعات علمية أخرى.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف اختُبر الحكّام؟

الصعوبة الرئيسية أنه لا يوجد معيار مرجعي للجِدّة. فاعتمد الباحثون على مراجعات مؤتمر ICLR 2026، وبحثوا فيها عن المواضع التي يناقش فيها المراجعون الأصالة صراحةً، لا عن واقعة قبول الورقة. فقد تُقبل ورقة لقوة تجاربها رغم أن فكرتها ثانوية، والعكس صحيح. على هذا الأساس جُمعت مجموعتان. تضم الأولى 154 فكرة من أفضل 10% من الأعمال المقبولة، حيث أشاد المراجعون بالجِدّة ولم يعترض عليها أحد. وتضم الثانية 145 فكرة من أسوأ 10% من الأعمال المرفوضة، حيث شكّك المراجعون في الأصالة ولم يكن هناك أي مديح.

ما أبرز التفاصيل حول بضع كلمات في الموجّه تحسم كل شيء؟

تغيّرت النتيجة بأشد قدر بتغيّر صياغة الطلب. في الصيغة الأولى مع GPT-5.4، أخبر الموجّه النموذج بأن المراجعين وجدوا فكرة واحدة بالضبط من الفكرتين جديدة. وفي الصيغة الثانية سُئل النموذج ببساطة أيّ الفكرتين جديدة. انخفضت الدقة من 93,5% إلى 40,9%، وتغيّر الحكم في أكثر من نصف الأزواج. وعلى أزواج من فكرتين بشريتين، لم يُحرّك الأسلوب نفسه الدقة إلا بسبع نقاط. قد يبدو الحَكَم مستقرًا على الأعمال البشرية ويتصرف بصورة غير متوقعة على أفكار الذكاء الاصطناعي، أي على الأفكار التي وُضع من أجلها أصلًا.

ما أبرز التفاصيل حول الغالي ليس بالضرورة الأدق؟

ثمة نتيجة أخرى تهمّ من يبني الوكلاء. حقق GPT-5.6 Sol بأقصى ميزانية استدلال وبحث حي في arXiv 78 نقطة من 100 وفق مقياس macro-F1. يبيّن هذا المقياس مدى نجاح الحَكَم في اكتشاف الأفكار الجديدة وغير الجديدة معًا: كلما ارتفع كان أفضل. أما Claude Opus 4.6 مع خمسة تعليقات توضيحية عُثر عليها مسبقًا فحقق 89 نقطة. وكلّفت النسخة الوكيلية نحو عشرة أضعاف لكل قرار. وخسرت الأنظمة المتخصصة أيضًا. فالموجّه البسيط مع Claude Opus 4.6 بميزانية استدلال منخفضة وتصويت على ثلاث تشغيلات حقق 85,4 نقطة بتكلفة إجمالية 2,59 دولار.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…