فريق تسينغهوا يطلق OSWorld-Science: اختبار الوكلاء داخل البرمجيات العلمية

قدّم فريق تسينغهوا OSWorld-Science. وهو معيار تقييم يختبر ما إذا كان وكيل الذكاء الاصطناعي قادرًا على تنفيذ المهمة العلمية داخل برنامج احترافي، لا على شرحها فقط. وتتنوع المهام بين تحليل أطياف الرنين المغناطيسي النووي، ومعالجة الصور المرضية، والحسابات الإحصائية، والمحاكاة الفيزيائية. ولا يذكر الإعلان المتاح عدد المهام ولا نتائج نماذج بعينها. لذلك يبقى السؤال الرئيسي مفتوحًا حتى الآن: ما حجم الفجوة التي سيكشفها جدول الصدارة؟

أين تنتهي الإجابات النصية

تتعامل النماذج اللغوية الحديثة جيدًا مع الجزء الأول من العمل العلمي. فهي تشرح المنهج، وتعدّد الخطوات، وتكتب سكربت للتحليل. بعد ذلك يبدأ الجزء الذي يستهلك الحصة الكبرى من وقت المختبرات: فتح البرنامج المناسب، وتحميل البيانات، وضبط المعاملات، والتنقل بين القوائم، وفحص النتيجة الوسيطة، ثم الوصول إلى نتيجة نهائية يمكن إدراجها في ورقة بحثية.

هذا الجزء تحديدًا هو ما يجعله مؤلفو OSWorld-Science موضوعًا للاختبار. فمهام مثل معالجة بيانات الرنين المغناطيسي النووي أو وسم صور الأنسجة المرضية تتكرر في الأبحاث يوميًا. ولا تكفي لتنفيذها ثقافة عامة واسعة. المطلوب فهم للمجال العلمي وعمل دقيق مع واجهة قد يغيّر الخطأ في معامل واحد منها النتيجة كلها.

ما المعروف عن المعيار

• المطوّر: فريق بحثي من جامعة تسينغهوا.
• الصيغة: الوكيل يتحكم بنفسه في البرمجيات العلمية، ولا يصف الحل بالكلمات.
• مجالات المهام: تحليل الرنين المغناطيسي النووي، ومعالجة الصور المرضية، والإحصاء، والمحاكاة الفيزيائية.
• متطلبات الوكيل: معرفة متخصصة مع تنفيذ موثوق لتسلسل من العمليات.
• غير المعلن في الجزء المتاح: عدد المهام، وقائمة البرامج، ومنهجية التحقق من النتائج، وتقييمات النماذج، والمستوى المرجعي البشري.

السياق: من المهام المكتبية إلى المهام المخبرية

يشير الاسم إلى OSWorld، وهو معيار صدر عام 2024 لوكلاء يعملون على الحاسوب. ضم 369 مهمة في أنظمة Ubuntu وWindows وmacOS. أنجز البشر نحو 72% من المهام، فيما لم تتجاوز نسبة أفضل نموذج وقت النشر 12% إلا قليلًا. ومنذ ذلك الحين تقدّم الوكلاء بوضوح، لكن السيناريوهات المكتبية العامة وسيناريوهات المتصفح ما زالت أبسط بكثير من السيناريوهات العلمية.

تتسم البرمجيات العلمية الاحترافية بعدة خصائص تُصعّب عمل الوكيل. فواجهاتها شديدة التخصص، وغالبًا ما تكون قديمة وغير قياسية. وتتوفر أمثلة تدريبية قليلة عنها في المتاح للعموم. والأهم أن الأخطاء فيها صامتة: فالبرنامج لا يعرض رسالة خطأ، بل يخرج رسمًا بيانيًا أو قيمة p تبدو معقولة لكنها خاطئة. هذه قراءتنا للمهمة وليست اقتباسًا من الإعلان، لكنها تحديدًا ما يجعل عبارة «نتيجة يمكن الوثوق بها» تبدو محورية. فمعيار التقييم الذي يتحقق فقط من إتمام الإجراءات لا فائدة منه هنا. المهم هو كيفية التحقق من الملف النهائي أو الرقم الناتج.

كيف نتعامل مع هذا

الخلاصة عملية بالنسبة إلى المختبرات: لا يزال الوقت مبكرًا لمنح وكلاء البرمجيات العلمية استقلالية دون رقابة. والصيغة المعقولة اليوم هي أن يُعدّ الوكيل الحسابات الروتينية ويشغّلها، ويراجع الإنسان المعاملات والنتيجة النهائية، ويُحفظ سجل الإجراءات لضمان قابلية إعادة الإنتاج.

أما بالنسبة إلى مطوّري الوكلاء، فمن المرجح أن يصبح OSWorld-Science اختبارًا صارمًا آخر. فهو يُظهر مدى احتفاظ النموذج بسياق المجال العلمي عبر سلسلة طويلة من الإجراءات داخل واجهة حقيقية.

قبل استخلاص أي استنتاجات، من المفيد انتظار الورقة البحثية والمستودع، والنظر في أربعة أمور: كيف صُمّم التحقق الآلي من النتائج، وكم عدد المهام التي يمكن حلها عبر الواجهة الرسومية فقط، وما النتيجة التي حققها الخبراء من البشر، وكيف تتصرف النماذج التجارية والمفتوحة الرائدة في هذا الاختبار. ومن دون هذه البيانات يبقى العنوان وعدًا لا قياسًا.