أفضل نموذج ذكاء اصطناعي يحل 12% فقط من المهام المهنية في اختبار GDPx الجديد

أفضل نموذج حاليًا يحل 12% من المهام المهنية الواقعية. يبدو هذا الرقم خطأً مطبعيًا، خصوصًا إذا كان في مستودعكم مشروع كتبه الذكاء الاصطناعي بالفعل. لكنه الرقم الذي سجّله اختبار GDPx الجديد من SemiAnalysis.

ما هذا الاختبار

تشتهر SemiAnalysis بتحليلاتها لسوق أشباه الموصلات واقتصاديات الذكاء الاصطناعي. وفي 2 نوفمبر نشرت الشركة اختبار GDPx. المؤلفون هم ماكس كان وأندرو ميغالاا ومؤسس الشركة ديلان باتيل، وقد صمّموه ليكون أصرم اختبار للقدرات الوكيلية. فهو لا يقيس معرفة الحقائق ولا القدرة على حل مسائل الأولمبياد، بل العمل على مهام يكون قطاع الأعمال مستعدًا للدفع مقابلها.

واختيار المؤلفين له دلالة: فالشركة تنظر إلى الذكاء الاصطناعي من زاوية المال، أي كلفة الرقائق ومراكز البيانات والرموز (tokens). والسؤال الرئيسي بالنسبة إليها ليس «ما مدى ذكاء النموذج»، بل «هل يحقق عائدًا يغطي كلفته». ومن هنا جاء التركيز على المهام مدفوعة الأجر.

وسجّل Claude Opus 5.5 من Anthropic أفضل نتيجة إجمالية، وهي نسبة الـ 12% نفسها. أما بقية النماذج فجاءت نتائجها أدنى منها بطبيعة الحال.

تنبيه مهم: الجزء المتاح لنا من الاختبار لا يتضمن تفاصيل المنهجية، أي تركيبة المهام وطريقة التقييم ونتائج النماذج الأخرى. فقبل أن تستشهدوا بهذا الرقم في عرض تقديمي، اطّلعوا على منشور SemiAnalysis الأصلي.

لماذا يصعب الأمر على الوكلاء إلى هذا الحد

المهمة العملية الحقيقية ليست إجابة واحدة، بل سلسلة خطوات: فهم السياق، واختيار الأدوات، والتنفيذ، والتحقق، والتصحيح. وتوضح حسبة بسيطة حجم المشكلة. فإذا أنجز الوكيل كل خطوة بنجاح في 90% من الحالات، فإنه في سلسلة من عشر خطوات سيصل إلى النهاية بنجاح في نحو 35% من الحالات فقط. وهذا مثال توضيحي وليس من بيانات GDPx، لكن الآلية نفسها: الأخطاء تتراكم، والنتيجة «الصحيحة تقريبًا» في العمل التجاري كثيرًا ما تساوي صفرًا.

ومن هنا الفجوة بين الانطباع والرقم. فحين تطلبون من النموذج كتابة دالة أو مسودة سكربت، يصيب في كثير من الأحيان. أما حين تسلّمونه المهمة كاملة، بتكليف ناقص وشيفرة كتبها غيره ومطلب إيصالها إلى حالة العمل، فالصورة تختلف. فالمشروع الذي كتبه الذكاء الاصطناعي و«يبدو أنه يعمل» يختلف عن مهمة أُنجزت بحيث دفع العميل مقابلها.

ما العمل إزاء ذلك

للمطورين: لا تقيّموا الوكيل من خلال العروض التجريبية. اجمعوا 20–30 مهمة حقيقية من مهامكم بمعيار قبول واضح، وشغّلوا النموذج عليها. سيكون هذا اختبار GDPx المصغّر الخاص بكم. سجّلوا نسبة المهام التي أُغلقت دون تعديلات بشرية، فهذا المقياس أصدق من أي تقديرات متوسطة.

لمديري المنتجات: أبقوا العنصر البشري ضمن دورة العمل. فإذا كانت الميزة تَعِد بعمل مستقل بالكامل، فقد يكون نطاقها الفعلي أصغر بمرات عدة مما تعرضه الشرائح التسويقية. واحسبوا الاقتصاديات مع احتساب مراجعة النتيجة وتحسينها.

للمؤسسين: نسبة 12% ليست سببًا لإغلاق المشاريع الوكيلية. إنها سبب لاختيار سيناريوهات ضيقة تكون فيها السلسلة قصيرة والتحقق رخيصًا، وعدم بيع «بديل للموظف». كما أن الاختبار ذا السقف المنخفض هذا مفيد، بالمناسبة، لأنه لا يصل إلى حالة التشبّع: ثمة مجال للتحسن، وسيظهر من خلاله تقدم النماذج القادمة.

القيود

اختبار واحد لا يمثل الواقع كله. فمؤلفوه هم من حدّدوا ما يُعدّ «مهمة مهنية حقيقية»، وسيعطي أي مجموعة مهام أخرى أرقامًا مختلفة. كما أن SemiAnalysis شركة تحليلية وليست مختبرًا مستقلًا، لذا ينبغي النظر في مدى قابلية إعادة إنتاج النتائج وما إذا كانت مجموعة المهام مفتوحة. لكن الإشارة نفسها واضحة: ما زالت المسافة كبيرة بين «يكتب الشيفرة» و«ينجز العمل»، ومن الأجدى قياسها على مهامكم أنتم.