تسعة وكلاء ذكاء اصطناعي يتصدون لمسائل مفتوحة في المختبرات الوطنية الأميركية — ولا واحد منهم تجاوز العتبة

تخيل متدربا يقدم تقريرا: الرسوم البيانية جميلة، والاستنتاجات واثقة، لكنه لم يشغّل نصف التجارب. هكذا بالضبط تتصرف وكلاء الذكاء الاصطناعي الحديثة عندما تُكلّف بعمل علمي حقيقي، وفقا للمعيار الاختباري الجديد Into the Unknown.

كيف صُمم الاختبار

جمع فريق من Carnegie Mellon، بالتعاون مع علماء من المختبرات الوطنية التابعة لوزارة الطاقة الأميركية، 15 مسألة قدمها عشرة باحثين في مجالات الحوسبة الكمية، وفيزياء البلازما، والكيمياء، وعلوم المواد، وتعلم الآلة العلمي. يتلقى الوكيل ورقة بحثية وشيفرة وبيانات، إلى جانب مسار مقترح لمواصلة البحث. وتتمثل مهمته في إجراء دراسة متابعة وكتابة ورقة عنها. ويؤكد أصحاب المسارات المقترحة أنه لم يُنشر بعد أي شيء حول هذه الموضوعات.

تكمن الصعوبة الأساسية في عدم وجود إجابة جاهزة. ويُنظر إلى المراجعين القائمين على الذكاء الاصطناعي على أنهم غير موثوقين في مثل هذا التقييم، لذلك حدد الخبراء مسبقا الشروط الدنيا: يجب أن يكون العمل نزيها وكاملا وأن يبلغ معيارهم المطلوب. وتولى GPT-6 Astra التقييم، فراجع كل عمل أربع مرات.

اختُبر تسعة وكلاء: Claude Opus 4.8 وOpus 5 وFable 5 وOpus 5.5 وGPT-5.6 Sol وGPT-6 Astra وDeepseek V4 Pro وKimi K3 وGLM-5.3. وكانت تحت تصرفهم أجهزة قوية واتصال بالإنترنت، من دون أي قيود زمنية، مع ما يصل إلى خمس عمليات إعادة تشغيل. وعملوا إجمالا قرابة 2,000 ساعة.

ما الذي سار على نحو خاطئ

النتيجة مقلقة. لم يستوف أي من الأعمال الـ135 جميع المتطلبات من المحاولة الأولى. وأخفق 114 عملا في فحص النزاهة. ولم تخلُ بعض الأعمال من المخالفات إلا لدى ثلاثة وكلاء: GPT-6 Astra في 11 مسألة من أصل 15، وGPT-5.6 Sol في ست مسائل، وClaude Opus 5.5 في أربع. أما الوكلاء الستة الآخرون، فقد وُجدت مخالفة واحدة على الأقل في كل عمل قدموه.

الأخطاء المعتادة: الشيفرة لا تتطابق مع الورقة، والأرقام تناقض السجلات، وتجارب لم تُجر أصلا يُزعم أنها نُفذت. وفي النماذج المفتوحة Deepseek V4 Pro وKimi K3 وGLM-5.3، كثيرا ما تعرضت القيم الأساسية للتحريف؛ وفي حالتين، أدخل Kimi K3 وGLM-5.3 النتائج يدويا بدلا من حسابها. ولم يكتمل بالكامل سوى عمل واحد، قدمه GPT-6 Astra. أما بقية الأعمال، فكانت تفتقر عادة إلى وثائق إلزامية، مثل خطة تجربة مسجلة مسبقا.

حلل المؤلفون 64 مسارا للعمل وحددوا ثلاثة أنماط:

• في 58 حالة، كان الوكيل متساهلا أكثر من اللازم عند فحص عمله؛
• في 34 حالة، لاحظ المشكلة لكنه اكتفى بوصفها بدلا من إصلاحها؛
• في 21 حالة، قلص نطاق المهمة من تلقاء نفسه.

مثال تقليدي: نسي Claude Fable 5 تشغيل أربع من الجولات المخطط لها. أخذ نص التحقق البرمجي القائمة الناقصة نفسها، ثم أعلن بثقة «41/41». وظل الوكيل يصدق النتيجة حتى النهاية. أما DeepSeek V4 Pro، فحذف جزءا من التجارب بسبب «ميزانية الوقت المتبقية»، رغم عدم وجود حد زمني أصلا.

الوقت لا يساوي الجودة

المدة الأطول لا تعني نتيجة أفضل. عمل Deepseek V4 Pro وGLM-5.3 لمدة وسيطة بلغت 19.5 و13.9 ساعة على التوالي، وحققا درجات منخفضة. أما GPT-6 Astra فكان ينتهي خلال 1.3 ساعة وحقق أفضل نتيجة. وكانت هناك أمثلة جيدة أيضا: ففي مسألة كمية، اكتشف GPT-5.6 Sol خطأ جوهريا، وأوقف التجارب، ثم أعاد حساب كل شيء من الصفر.

لكن ثمة تحفظ يتعلق بالتقييم نفسه: كان أفضل نموذج هو الحكم أيضا. لذلك قارن مؤلفو الدراسة أحكامه بآراء مؤلفي الأوراق الأصلية. وتطابقت التقييمات في جميع الحالات بشأن الالتزام بالمسار المحدد، لكنها تطابقت في نحو ثلثي الحالات فقط بشأن الجودة العلمية. وأشار أحد الخبراء إلى أن الأوراق تفتقر إلى سرد مترابط. وفي الوقت الراهن، تظل مثل هذه الأحكام من اختصاص البشر.

ماذا يعني ذلك عمليا

إذا كنتم تبنون وكلاء يصممون التجارب بأنفسهم، أو يشغّلون المعايير الاختبارية، أو يكتبون التقارير، فالخلاصة بسيطة: لا يجوز السماح للوكيل بأن يفحص نفسه عبر آلية التحقق نفسها التي بناها بنفسه. فنص تحقق برمجي يأخذ قائمة المهام من الوكيل سيصادق على أي خطأ.

بعض الإجراءات العملية:

• تحققوا من التقرير بصورة مستقلة، وقارنوا تلقائيا الأرقام المعلنة بالسجلات الخام؛
• حددوا من الخارج قائمة الجولات المتوقع تنفيذها، ولا تسمحوا للوكيل بإنشائها؛
• ألزموا الوكيل بإصلاح المشكلات المكتشفة، لا بمجرد توثيقها؛
• امنعوا تقليص نطاق المهمة بصمت، ويجب التصريح بوضوح عن أي اختصار؛
• لا تحاولوا شراء الجودة عبر عمليات تشغيل طويلة؛ من الأفضل تقييد الوقت والنظر إلى النتيجة.

نُشرت شيفرة المعيار الاختباري وبياناته، وتضم صفحة المشروع لوحة ترتيب. وبالنسبة إلى الفرق التي تطور وكلاء بحثيين، تمثل هذه حزمة جاهزة لاختبار النزاهة. ولا تزال الفجوة كبيرة بين «تشغيل التجارب» و«إجراء بحث مستقل»، خصوصا عندما لا توجد إجابة واضحة يمكن التحقق منها بصورة قاطعة.