PhAI Labs: Claude Opus 5 يحتل المرتبة الأخيرة في اختبار الفرضيات العلمية بنسبة 2,3%

نشرت PhAI Labs مقارنة بين النماذج في قدرتها على اقتراح فرضيات علمية، ويكاد ردّ الفعل الأول في وسائل الإعلام الصينية يقتصر على الاستغراب: فقد جاء Claude Opus 5 بنسبة 2,3% في المرتبة الأخيرة بين خمس مجموعات. أما مجموعة GPT فسجّلت 2,5%. والفارق بينهما بالكاد يبلغ عُشرَي نقطة مئوية، وتشمل الجدول الكامل، بحسب الجزء المتاح، عدة نماذج أخرى، منها GLM.

كيف يجري الاختبار

تختلف المنهجية عن المعتاد في أنها لا تعتمد على خبراء يقيّمون النتائج ولا على اختبار معياري تُعرف إجاباته مسبقًا. تقترح النماذج فرضيات بحثية، ثم تُطابَق مع الأدبيات العلمية المنشورة لاحقًا. وإذا وافقت فكرة النموذج اتجاهًا نما فعلًا في الأبحاث، عُدّت إشارة مفيدة للدراسات المستقبلية. ويبدو أن النسبة المئوية الواردة في التقرير تعبّر عن حصة هذه الإصابات.

لهذا النهج ميزة واضحة: لا يمكن تعديل المستقبل ليلائم الإجابة. لكن له نقاط ضعف أيضًا. فالتطابق مع المنشورات اللاحقة يعكس ما انشغل به المجتمع العلمي، ولا يعكس بالضرورة ما كان سيحمل قيمة حقيقية. أما الفرضية الجريئة التي لم يتحقق منها أحد فستحصل على صفر.

ما المعروف عن النتائج

• Claude Opus 5: 2,3%، المرتبة الأخيرة بين خمس مجموعات.
• GPT: 2,5%.
• GLM وبقية المشاركين: القيم مقتطعة في الجزء المتاح من المادة.
• المعيار: تقاطع الفرضيات مع الأدبيات الصادرة بعد توليدها.
• المسار المرافق: DiscoveryRSI، مشروع PhAI Labs لـ«التطور الذاتي» للوكلاء البحثيين.

أهم ما ينبغي تذكّره أن جميع القيم تقع ضمن نطاق بضع نقاط مئوية. وعندما يفصل بين المتصدر والأخير كسور من نقطة مئوية، ومن دون فواصل ثقة أو عدد مرات التشغيل أو حجم العينة، يصعب الجزم بأن ترتيب النماذج مستقر. وقد يكون الفارق البالغ 0,2 نقطة مئوية مجرد ضجيج إحصائي. فالعناوين عن «قاع» الترتيب تبدو أعلى صوتًا من البيانات نفسها.

DiscoveryRSI والتطور الذاتي للوكلاء

يربط إعلان البث المباشر مقارنةَ النماذج بمشروع DiscoveryRSI. ويلمّح الاختصار إلى التحسين الذاتي التكراري (recursive self-improvement) في سياق الاكتشافات العلمية: فالوكيل لا يكتفي بطرح الفرضيات، بل يحسّن أيضًا أسلوبه في طرحها. ولا تتضمن المادة المتاحة تفاصيل عن البنية المعمارية، لذا فمن المبكر الحكم على كيفية تنفيذ هذه الحلقة. غير أن المنطق واضح. فإذا امتلك النظام إشارة جودة قابلة للقياس، مثل حصة الفرضيات التي أكدتها الأدبيات اللاحقة، أمكن استخدامها في انتقاء استراتيجيات الوكلاء وتحسينها.

وهنا تحديدًا يصبح اختبار PhAI Labs أكثر إثارة من جدوله. فالمقياس الذي يعمل كحكَم خارجي لا يصلح للمقارنة بين النماذج فحسب، بل يصلح أيضًا دالةَ مكافأة لتدريب الوكلاء.

كيف تُقرأ مثل هذه الترتيبات

بالنسبة إلى الفرق التي تبني وكلاء علميين أو بحثيين، الخلاصة عملية. فاختبار واحد للفرضيات لا يغني عن التحقق في مجال التخصص نفسه: فالأحياء وعلم المواد والرياضيات تعطي توزيعات مختلفة للأفكار «الناجحة». كما أن نتيجة إصدار محدد من نموذج، مع موجّه (prompt) محدد وهيكل وكيل محدد، لا تنطبق على العائلة بأكملها.

قبل تغيير المزوّد بسبب أرقام كهذه، ينبغي انتظار التقرير الكامل والتحقق من ثلاثة أمور: كم فرضية وُلّدت لكل نموذج، وكيف عُرّف «التطابق» مع الأدبيات، وهل تتكرر النتائج عند إعادة التشغيل. وإلى ذلك الحين، من الأجدى اعتبار 2,3% مقابل 2,5% إشارة إلى أن المهمة لا يزال يصعب على جميع المشاركين حلّها، لا حكمًا على نموذج بعينه.