أفضل وكيل ذكاء اصطناعي أنجز 12% فقط من المتطلبات في اختبار GDPx الجديد على 206 مهام

تخيّل أنك كلّفت وكيل ذكاء اصطناعي بيوم عمل كامل: أن يفتح برنامجاً مهنياً مثل Siemens NX (نظام للتصميم بمساعدة الحاسوب)، ويصمم قطعة وفق مواصفات فنية من عشرات البنود، أو يعثر على الوثيقة المطلوبة بين آلاف الملفات. المعايير المعتادة لا تختبر ذلك، فهي تطرح أسئلة معرفية. أصدرت شركة التحليلات SemiAnalysis اختبار GDPx الذي يقيس العمل نفسه: 206 مهام، تستغرق كل منها عدة ساعات. أفضل نتيجة كانت 12% لنموذج Claude Opus 5.5. وتعبّر هذه النسب عن حصة المتطلبات المنجزة في المهمة، لا عن «نسبة الإجابات الصحيحة». والخلاصة العملية بسيطة: لا يمكن بعد ائتمان وكيل على عمل مهني معقد بشكل مستقل تماماً.

ما الذي يُختبر بالضبط

لا يسأل GDPx النموذج عن الحقائق. يوضع الوكيل في بيئة عمل محاكاة، ويعمل حتى ثماني ساعات في برمجيات مهنية، ويبحث عن البيانات في «غرف البيانات» (مستودعات الوثائق) التي تضم آلاف الملفات، أو يهاجم أنظمة مؤسسية حية. وتتوزع المهام على أحد عشر مجالاً: تصميم الرقائق، والبيولوجيا، والتداول الكمي، والأمن السيبراني، والقانون، وغيرها. واستبعد المؤلفون الإدارة والتأمين عن قصد. ووفق منطقهم، سيأتي أول تريليون دولار من إيرادات الذكاء الاصطناعي من القطاعات التي تحقق فيها النماذج المتقدمة أكبر عائد.

وتفصل SemiAnalysis صراحةً بين GDPx واختبار OpenAI GDPval، إذ تقول إن السياق كله موجود هناك داخل الـ prompt، ولا توجد بيئة عمل واقعية.

كما أن طريقة الاحتساب غير معتادة. ففي المهام المالية والقانونية، يجعل رقم خاطئ واحد في جدول النتيجة كلها عديمة الفائدة. ووفق هذا المعيار الصارم، لما أنجز أي نموذج أي مهمة واحدة. لذلك تحتسب SemiAnalysis حصة المتطلبات الفردية المنجزة، أما الترتيب النهائي فهو المتوسط عبر المجالات الأحد عشر بوزن متساوٍ.

من في المقدمة وكم يكلّف ذلك

يتصدر Claude Opus 5.5 بنسبة 12%. يليه Gemini 4 Carbon من Google بنسبة 10,9%، وتبلغ تكلفة المهمة الواحدة معه $16,29، أي نحو ثلث سعر المتصدر. وفي المركز الثالث GPT-6 Astra بنسبة 9,6%. وفي أسفل الجدول، حقق GPT-6 Luna وDeepSeek 4.1 Flash نحو 5% بتكلفة تقارب دولاراً واحداً للمهمة. أما Muse Wonder Full من Meta فلم يدخل المقارنة السعرية لأنه لا يملك سعراً معلناً.

وتكشف التفاصيل مواضع إخفاق الوكلاء. ففي اختبار الالتزام بالقواعد، خالفت 98% من 200 تشغيل سيبراني قاعدة سلوكية واحدة على الأقل. وفي محاكاة الممارسة الطبية، وقّع أحد النماذج سجلاً سريرياً باسم الطبيب. وفي التداول الكمي، جاء أداء 70 تشغيلاً من أصل 111 أسوأ من الاستراتيجية المرجعية المحددة.

مرشّحات الأمان تعيد خلط الترتيب

يعتمد جزء من الصورة على آليات الحماية لدى المزوّدين. فإذا استُبعد الأمن السيبراني والبيولوجيا والـ alignment (فحص السلوك)، يحتل GPT-6 Astra المركز الأول بنسبة 11,8% ويتفوق على Opus 5.5. وفي المجال السيبراني حصل GPT-6 Astra وGPT 6.1 Sol على صفر في المئة، بينما حقق Muse Wonder Full من Meta نسبة 35,2%. وفي الترتيب الكامل يحتل Muse Wonder Full المركز الرابع، لكنه يتراجع إلى السابع دون هذه المجالات الثلاثة. وهذا يعني أن جزءاً من الفجوة بين النماذج لا يعكس القدرة على العمل، بل الاستعداد للامتناع عن تنفيذ المهمة.

لماذا ينبغي التعامل مع النتائج بتحفظ

أعدّ المهام 14 شريكاً متخصصاً، يبيعون في الوقت نفسه للمختبرات بيانات للتدريب والتقييم. ولا تملك SemiAnalysis خبرة خاصة بها في جميع المجالات. ويتاح علناً عادةً مثال واحد لكل شريك، والباقي مغلق. وفي عدة مجالات، منها القانون وتصميم العتاد، تقيّم النتائجَ نماذجُ لغوية وفق معايير محددة، لا خبراء بشريون. ولا يمكن التحقق من الخارج من صعوبة المهام ولا من جودة التقييم. لكن للإغلاق ميزة: لا تستطيع المختبرات تكييف نماذجها مع مهام بعينها. وقد اتخذت Artificial Analysis خطوة مماثلة في الإصدار الجديد من Intelligence Index.

ويصف المطوّر Josh Purtell اختبار GDPx بأنه «ضجيج أكثر منه إشارة». فقد شُغّل كل نموذج في بيئة الوكيل «الأصلية» لدى مزوّده، مثل Opus في Claude Code، وتكون الظروف أسوأ للنماذج التي تكون أدواتها أضعف. كما أن بعض المجالات الفرعية تضم نحو عشر مهام فقط، ولذلك تتسم النتائج بعدم الاستقرار.

ماذا تفعل بذلك

إذا كنت تبني وكيلاً للعمل المهني، فأدرج مراجعة بشرية، خصوصاً في المالية والقانون والطب. قارن النماذج على مهامك الخاصة، لا بحسب الترتيب العام وحده. وانتبه إلى السعر: يقترب Gemini 4 Carbon من المتصدر بثلث التكلفة. وتخطط SemiAnalysis لتحديث الاختبار مرة كل ثلاثة إلى ستة أشهر، ما سيتيح تتبع التغيّر في النتائج.