Epoch AI وAnthropic: وكلاء الذكاء الاصطناعي يبالغون في تقدير نتائجهم، وأفضلهم حصل على 15% من الدرجة المرجعية

لا تزال فكرة «العالِم الاصطناعي» الذي يبتكر الفرضيات بنفسه، ويجري التجارب، وينشر النتائج، من أبرز وعود هذه الصناعة. لكن فحصين مستقلين يُظهران أن الطريق إلى ذلك لا يزال طويلاً. فقد توصلت Epoch AI وAnthropic، دون تنسيق بينهما، إلى الاستنتاج نفسه: GPT-5.6 Sol وClaude Fable 5 قادران على تشغيل التجارب بكثافة، لكنهما لا تجيدان الشك فيما حصلتا عليه. وبلغت أفضل نتيجة لـ Sol نسبة 15% من الدرجة البشرية المرجعية. كما أن هذه النسبة البالغة 15% جاءت من أساليب كان الباحثون يعرفونها أصلاً.

ما الذي كشفته الدراستان تحديداً

تشير الدراستان إلى المشكلة نفسها. فالوكلاء يتعاملون جيداً مع الجانب الإجرائي: كتابة الشيفرة، وتشغيل التجارب، وجمع المقاييس، وصياغة الاستنتاج. لكن ما إن تتطلب المهمة شكاً علمياً حتى يتراجع الأداء. إذ يميل النموذج إلى تضخيم النتائج، ويعدّ التشغيل الناجح قاعدة مؤكدة، ولا يبحث عن الأسباب التي قد تجعل الأرقام مجرد artifact.

ووفق نتائج الدراسة، تكمن أخطر نقاط ضعف النماذج في عجزها عن التحقق النقدي من استنتاجاتها. وهذا عيب جوهري في العمل العلمي. فالباحث يختلف عن المنفّذ في أنه يحاول بنفسه دحض فرضيته قبل أن يفعل المراجع ذلك.

سقف الـ15%

ينبغي قراءة رقم 15% من المعيار البشري مع التحفظ التالي: تحققت هذه النسبة بأساليب معروفة سلفاً. فلم يقترح Sol مقاربات جديدة، بل طبّق بكفاءة ما هو موجود في الأدبيات العلمية. وهذا يدل على قدرة على تجميع المعروف بكفاءة، لا على توسيع حدود المعرفة. أما التفكير الإبداعي الذي يميز الاكتشاف عن إعادة الإنتاج، فلا يزال غائباً عن النماذج.

ولم تُكشف في العرض المتاح تفاصيل المنهجية: تركيبة المهام، وطريقة حساب الدرجة المرجعية، وعدد مرات التشغيل. لذلك لا ينبغي مقارنة هذه النسبة البالغة 15% بنتائج بنشماركات أخرى دون الاطلاع على التقارير نفسها.

الحقائق الأساسية

• الدراستان: Epoch AI وAnthropic، أُجريتا بصورة مستقلة وخلصتا إلى استنتاج متطابق.
• النموذجان المختبَران: GPT-5.6 Sol وClaude Fable 5.
• أفضل نتيجة: 15% من الدرجة البشرية المرجعية (Sol).
• مصدر النتيجة: أساليب معروفة سلفاً للباحثين.
• نقطة الضعف الرئيسية: غياب التقييم النقدي للنتائج الذاتية.
• نقطة الضعف الثانية: نقص التفكير الإبداعي الحقيقي.

كيف نتعامل مع ذلك عملياً

بالنسبة إلى الفرق التي تدمج الوكلاء في أعمال R&D، الخلاصة عملية. فالوكيل مناسب للمهام الروتينية: إعادة إنتاج تجارب معروفة، واستعراض المعاملات، وإعداد الجداول ومسودات التقارير. لكن كل استنتاج يقدمه ينبغي عدّه فرضية لا نتيجة.

ويفيد وضع بعض القواعد. أولاً، التحقق المستقل: يعيد إنسان أو pipeline منفصل تشغيل الأرقام الأساسية دون مشاركة الوكيل نفسه. ثانياً، مستويات أساس إلزامية: تُقارن أي نتيجة محسّنة يُعلن عنها ببيسلاين بسيط وبالتباين بين مرات التشغيل. ثالثاً، التسجيل الدقيق: حفظ الشيفرة والـseeds وبيانات كل تشغيل، حتى يمكن اكتشاف النتيجة المضخّمة بعد وقوعها. رابعاً، ألا تُترك صياغة الاستنتاجات للوكيل دون تحرير من مختص.

وهذه إشارة للسوق أيضاً. فادعاءات «وكلاء البحث المستقلين» ينبغي اختبارها بقدرة النموذج على اكتشاف أخطائه، لا بعدد التجارب التي شغّلها. وما دام مختبران مستقلان، بينهما مطوّر أحد النموذجين المختبَرين، يقولان الأمر نفسه، فإن العلم المستقل يبقى مهمة للمستقبل. ولا يزال وجود الإنسان في حلقة التحقق إلزامياً.