OpenRSI Index يحصد 133 ألف مشاهدة: قياس الذكاء الاصطناعي بمستوى العلماء

حصد مشروع OpenRSI Index، الذي يحاول الإجابة عن سؤال «ما مدى بُعد الذكاء الاصطناعي عن مستوى كبار الباحثين»، أكثر من 133 ألف مشاهدة على منشوره الأول في X. كما ظهر الموضوع في قسم Today's News بالمنصة. ونقلت هذا الخبر وسيلة الإعلام الصينية Jiqizhixin. ولا تكشف الفقرة المتاحة من المادة عن منهجية المؤشر، لذلك نفصل أدناه بين المعلوم وما ينبغي التحقق منه.

ما المعروف حتى الآن

المعطيات قليلة، وتتعلق في معظمها بتفاعل الجمهور لا بمضمون المشروع:

• الاسم: OpenRSI Index (ويرد في المنشور أيضاً بصيغة OpenRSI-Index)؛
• منصة الإطلاق: X، بمنشور أول تجاوزت مشاهداته 133 ألف مشاهدة؛
• إشارة إضافية: ذكر المشروع في Today's News، وهو القسم الذي تعرض فيه المنصة النقاشات البارزة؛
• إطار السؤال: كم بقي من الوقت قبل أن يتفوق الذكاء الاصطناعي على كبار الباحثين العلميين.

من الاسم يمكن افتراض أن RSI يرتبط بالتحسين الذاتي التكراري (recursive self-improvement)، أي بذكاء اصطناعي يسرّع تطوير الذكاء الاصطناعي نفسه. لكن المصدر لا يؤكد هذا الفك للاختصار في الفقرة المتاحة، ولذلك يبقى مجرد فرضية.

لماذا انتقل الاهتمام من التصنيفات إلى العلم

يضع عنوان المادة الأصلية «التلاعب بالتصنيفات» في مقابل «ممارسة العلم». وخلف ذلك مشكلة واضحة: فالمعايير الاختبارية التقليدية تقترب من الإشباع. تبلغ النماذج سقف هذه الاختبارات، وفارق من نقطتين مئويتين أو نحوهما لا يقول الكثير عن القدرة على إجراء بحث علمي.

وقد حاول القطاع بالفعل التحول نحو مهام أقرب إلى الواقع. أطلقت OpenAI معيار MLE-bench المبني على 75 مسابقة من Kaggle، ومعيار PaperBench الذي يعيد فيه الوكيل إنتاج أعمال من مؤتمر ICML. واقترحت METR معيار RE-Bench، وهو مجموعة بيئات للهندسة البحثية تقارن نتائج الوكلاء بنتائج خبراء من البشر. وتختبر هذه المشاريع جميعها أجزاء من عمل الباحث. أما المؤشر الموحد الذي يدّعي المقارنة بكبار العلماء فعليه أن يغطي أكثر من ذلك: صياغة الفرضية، وتصميم التجربة، وتحليل الإخفاقات، واختيار الخطوة التالية.

ما الذي ينبغي أن نراه في المنهجية

الاهتمام الكبير لا يدل بحد ذاته على جودة القياس. وللحكم على OpenRSI Index نحتاج إلى إجابات عن عدة أسئلة:

• مما تتكون مهام المؤشر، وإلى أي حد تشبه العمل البحثي الحقيقي؟
• من هم «كبار الباحثين»، وكيف حُدد مستواهم المرجعي: المتوسط، أم الأفضل، أم المقيّد بوقت محدد؟
• كيف جرى استبعاد تسرب بيانات الاختبار إلى بيانات التدريب؟
• من يقيّم النتيجة: مقاييس آلية، أم خبراء، أم نموذج آخر؟
• هل البيانات والشيفرة مفتوحة (كلمة Open في الاسم توحي بذلك)، وهل يمكن إعادة إنتاج الأرقام بصورة مستقلة؟
• ما الذي يُعدّ «تفوقاً» تحديداً: السرعة، أم الدقة، أم جدة النتيجة؟

ومن دون إجابات، يبقى أي رقم نهائي من قبيل «الذكاء الاصطناعي قطع 40% من الطريق» رقماً جذاباً لكن يصعب التحقق منه.

الخلاصة العملية

بالنسبة إلى الفرق التي تبني منتجات على الوكلاء أو تخطط لعمليات بحثية بالذكاء الاصطناعي، من المنطقي الآن القيام بثلاثة أمور. أولاً، انتظار نشر المنهجية ومعرفة ما إذا كانت تركيبة المهام تتطابق مع مهامكم. ثانياً، عدم إسقاط المؤشر النهائي على عملكم الخاص، بل تشغيل النماذج على مجموعة داخلية من الحالات الواقعية مع قياس الزمن ونسبة الأخطاء. ثالثاً، عند قراءة أي ادعاءات عن «التفوق على العلماء»، التحقق من الأفق الزمني الذي قُيّمت عليه المهام، إذ تعطي ساعات العمل وأسابيعه صورتين مختلفتين.

يُظهر الاهتمام بـ OpenRSI Index أن السؤال عن الباحثين الاصطناعيين لم يعد محصوراً في دائرة ضيقة من المتخصصين. أما مدى جدارة المؤشر بالثقة فسيتضح من تفاصيل لا تتوافر بعد في المصادر المفتوحة.