Agent4Sci: Claude Opus يتفوق على الأرقام القياسية في 20 معيارًا علميًا بنسبة 10,4%

يُقدَّم وكلاء البرمجة المتقدمون بشكل متزايد على أنهم باحثون آليون قادرون على إنجاز دورة البحث كاملة. وقرر مؤلفو Agent4Sci اختبار ذلك على مهام لا تكفي فيها الدقة الهندسية وحدها، إذ يتعين فيها تحسين أفضل نموذج علمي منشور. وتشمل المنصة 20 معيارًا من 11 مجالًا علميًا. والنتيجة ذات وجهين: حسّن الوكلاء الرقم القياسي في كل معيار، وحقق Claude Opus متوسط تحسّن نسبي بلغ 10,4%، لكن المكاسب جاءت في معظمها من أساليب هندسة تعلم الآلة المعتادة، لا من إلهام بحثي.

اختبار بلا جدول ترتيب

لا تبني Agent4Sci لوحة ترتيب (ليدربورد) عن قصد. فالمؤلفون يطرحون سؤالًا مختلفًا: ما التقدم الذي يستطيع الوكلاء إحرازه فعليًا في ظروف قريبة من العمل الحقيقي («in the wild»)، وأين يصطدمون بسقف قدراتهم؟ هذه مهام طويلة يقرر فيها الوكيل بنفسه ما سيجرّبه، وكيف يوزّع الحوسبة، ومتى يتوقف. ونقطة المقارنة هي أفضل النماذج المنشورة، أي أن الباحثين البشر هم من وضعوا السقف، وليس خط أساس (بيسلاين) ضعيفًا.

ويشير المؤلفون أيضًا إلى أنه لم يُصنَّف أي تشغيل على أنه انتهاك للنزاهة الأكاديمية. وهذا مهم في المعايير الوكيلية: فلم تُرصد هنا مؤشرات على التلاعب بالاختبار أو على حيل غير نزيهة.

حقيبة من الحيل الهندسية بدل الأفكار

يبدو فوز الوكلاء في كل المعايير مثيرًا للإعجاب، لكن تحليل مسارات التنفيذ يغيّر زاوية النظر. فالتحسّن يُفسَّر بالكامل تقريبًا بمجموعة أساليب مألوفة لأي مهندس تعلم آلة. أما الأفكار المستندة إلى المعرفة بالمجال، سواء في الفيزياء أو الأحياء أو علم المواد، فلا تكاد تظهر في التحسينات.

ويحدد المؤلفون ثلاثة قيود متكررة:

• معايرة خاطئة للجدّة. يقدّر الوكيل بشكل غير دقيق ما هو جديد فعلًا وما هو ممارسة قياسية.
• عدم الاستفادة الكاملة من الموارد. لا تُستنفد ميزانية الحوسبة والوقت المتاحة بالكامل.
• الانزلاق السريع إلى بحث هندسي محلي. ينحدر الوكيل إلى سلسلة من الضبطات الصغيرة بدل البحث عن فرضيات ذات مضمون.

إضافات ضاعفت التحسّن

أكثر ما في الدراسة فائدة عملية هو تجربة الإضافات الخفيفة على شكل مهارات (plugin skills). وهي ثلاث: توليد أفكار بحثية، وإدارة التجارب، وقوائم تحقق دورية. ومن دون إعادة تدريب النماذج أو تغيير بنيتها، رفعت هذه الطبقات الإضافية أداء Claude Opus من 10,4% إلى 20,1%، وأداء Codex من 4,4% إلى 8,1%. وإلى جانب ارتفاع المقياس، تغيّرت طبيعة التدخلات: أصبحت أكثر تنوعًا وأقرب إلى خصوصية المجال المعني.

الخلاصة أن جزءًا كبيرًا من الفجوة بين الهندسة والبحث لا يُسدّ بنموذج جديد، بل بإطار تشغيلي يدفع الوكيل إلى التخطيط وتوثيق التجارب والعودة إلى قائمة التحقق. ومع ذلك تظل الأرقام المطلقة متواضعة، ويظل Codex، حتى مع هذه المهارات، دون Claude Opus من دونها.

ما الذي يمكن الاستفادة منه عمليًا

تحصل الفرق التي تبني وكلاء للمهام العلمية ومهام البحث والتطوير (R&D) على مرجع محدد: لا ينبغي قياس المقياس النهائي وحده، بل نوع التحسينات المكتشفة أيضًا. فإذا جاء التحسّن من البحث في المعاملات الفائقة والأساليب القياسية، فهو ذو قيمة، لكنه ليس اكتشافًا علميًا.

ويتعلق الاستنتاج الثاني ببنية الأنظمة الوكيلية. فطبقات إدارة التجارب، والمراحل الإلزامية لتوليد الفرضيات، والفحوص الدورية بقوائم التحقق ترفع العائد بتكلفة زهيدة، ويمكن تطبيقها على النماذج الحالية. ويجدر اختبارها قبل انتظار الجيل التالي من LLM.

وأخيرًا، المنصة نفسها مفتوحة. الشيفرة متاحة على GitHub (maszhongming/agent4sci)، والبيانات على Hugging Face (MingZhong/agent4sci). وتمنح المختبرات وسيلة جاهزة لاختبار وكيلها على 20 مهمة من 11 مجالًا، ولمعرفة أين يتصرف كمهندس، وأين يبدأ باقتراح أفكار يتميز بها الباحثون.