المهام الـ74 نفسها بأشخاص مختلفين: وكلاء الذكاء الاصطناعي في المتصفح يخسرون 36% من نجاحهم

الوكلاء الحاسوبيون، أو CUA، هم برامج ذكاء اصطناعي تعمل في المتصفح كما يعمل الإنسان: تفتح المواقع وتقارن الأسعار وتحجز وتكتب الرسائل. وتُختبر عادةً على مهام ثابتة: هناك صياغة وقائمة تحقق، والوكيل إما أنجز المهمة أو لم ينجزها. لكن مجموعة من الباحثين من UT Dallas وUSC وCarnegie Mellon وGeorgia Tech وUCLA وجامعة بنسلفانيا وUC Irvine وإلينوي وMIT طرحت السؤال بطريقة مختلفة: ماذا يحدث إذا أوكل أشخاص مختلفون المهمة نفسها، كلٌّ بكلماته؟ ومن هنا نشأ PersonaCUABench. والنتيجة غير مريحة: انخفض متوسط نسبة المتطلبات المنجزة من 0.689 إلى 0.441، أي بنسبة 36%.

كيف تحولت مهمة واحدة إلى أربعة طلبات مختلفة

أُخذت المهام من معيارَي اختبار قائمين، ليتسنى التحقق من النتيجة تلقائيًا:

• Odysseys: مهام معلوماتية طويلة على مواقع حية، يجمع فيها الوكيل البيانات ويقارنها ويقدّم تقريرًا. ومنه 38 مهمة. • REAL: إجراءات على نسخ مطابقة لمواقع شهيرة، مثل طلب الطعام وإرسال رسالة وحجز مسكن. ومنه 36 مهمة. ويتحقق برنامج من النتيجة النهائية بناءً على الحالة الأخيرة للموقع.

بلغ المجموع 74 مهمة في 11 مجالًا: 40 من الحياة اليومية و34 من العمل. وأُنشئت لكل مجال أربع شخصيات، واحدة لكل فئة: خبراء متخصصون، وكبار سن، وشباب بالغون، ومستخدمون عمليون يعيشون تحت ضغط المواعيد النهائية. وبذلك بلغ عدد الشخصيات 44. ووُصفت كل شخصية بـ37 سمة من مخطط MatrAIx البالغ 1 290 معلمة: العمر والتعليم والدخل وسنوات الخبرة وضيق الوقت والإلمام بالموضوع.

بعد ذلك عمل نموذج ذكاء اصطناعي مستقل يحاكي المستخدم. تلقّى الملف الشخصي والصياغة الأصلية، وأعاد كتابتها بصوت الشخصية. وكان بإمكانه حذف متطلب أو وصفه بشكل غامض أو إضافة متطلب من عنده، كأن يشترط تأكيد سعر ثابت قبل إرسال العرض. ولم يرَ الوكيل سوى الحوار الناتج، وكان بإمكانه طرح أسئلة توضيحية. ولم يكن لديه الملف الشخصي ولا المهمة الأصلية.

اختُبرت تسعة نماذج: MiniMax M3 وKimi K3 وMuse Glimmer 30B وGrok 4.6 وQwen 3.8 27B وGemini 3.8 Flash وGPT-6 Astra وDeepSeek V4.1 Flash وClaude Opus 5.5. وعملت جميعها ضمن بيئة المتصفح نفسها، بالأدوات نفسها وبميزانية الخطوات نفسها. وبلغ عدد التشغيلات 3 330. وتولّى GPT-5.6-terra دور المحاكي والحَكَم، وكان الحَكَم نسخة مستقلة ولم يطّلع على الحوار.

أين تذهب النقاط

تراجعت نتيجة كل نموذج، وتراوحت الخسائر بين 28% و45%. وفي المجموعات الأربع كلها من الشخصيات جاءت النتيجة أدنى مما كانت عليه مع الصياغة الأصلية. وتتخلف أفضل مجموعة شخصيات عن الأصل بمقدار 0.185. وداخل النموذج الواحد يتباعد أفضل أداء وأسوؤه بين المجموعات بمقدار 0.10–0.13. أما بين النماذج على المجموعة نفسها فيصل التفاوت إلى 0.14. وهذا يعني أن هوية من يطلب تؤثر في النتيجة تقريبًا بقدر تأثير النموذج الذي ينفّذ. كما يتغير الترتيب: فـGemini 3.8 Flash يقترب من الصدارة مع الطلبات الأصلية (0.734)، لكنه يحل سابعًا (0.360) مع إحدى المجموعات.

قسّم المؤلفون كل متطلب إلى ثلاثة أسئلة: هل ذكره المستخدم، وهل شرع الوكيل في تنفيذه، وهل أُنجز. ومن بين الحالات التي فُقدت فيها النقاط:

• في 59.9% منها شرع الوكيل في تنفيذ ما طلبه الشخص، لكنه نفّذه بشكل غير صحيح؛ • في 11.2% منها طلب المستخدم نفسه التوقف أو التأكيد، لكن التحقق بحسب قائمة التحقق الأصلية احتسب ذلك فشلًا.

والنقطة الثانية دالّة. فالوكيل الذي أعدّ العرض ولم يرسله لأن الشخص طلب ذلك يفشل في الاختبار. وفي أحد الأمثلة، توقف MiniMax M3 قبل الإرسال، فاعتُبرت المهمة فاشلة شكليًا، بينما منحه المستخدم 5 من 5.

تقييم المستخدم يختلف عن تقييم الاختبار

بلغ متوسط رضا المستخدمين على مجموعات الشخصيات 3.59 و3.10 و3.42 و3.33 نقطة على مقياس من خمس نقاط. أما للصياغات الأصلية التي لا ملف شخصيًا فيها، فيبلغ 4.04. ويظهر التباين في الاتجاهين.

• من بين 646 مهمة-شخصية أُنجزت بالكامل، منح 62.7% فقط الدرجة الأعلى، ومنح 25.9% درجة 3 أو أقل. أما للصياغات الأصلية فالنسبتان 84.1% و9.5%. • من بين 800 مهمة-إجراء فاشلة، اعتبر المستخدم 56% منها منجزة لحظة التسليم. وبعد التحقق من حالة الموقع بقيت نسبة 27% فقط.

ولا تنقذ الأسئلة التوضيحية الموقف أيضًا. فقد طرح الوكلاء 609 أسئلة، ولم يتعلق منها سوى 24% بمتطلب لم يُصرّح به المستخدم. واختُبر على GPT-6 Astra علاجان بديهيان: إطلاع الوكيل على الملف الشخصي للمستخدم، وإلزامه بطرح سؤال واحد على الأقل. ولم يعوّض أي من الطريقتين الخسارة في الجودة.

ماذا يعني ذلك

تحذّر هذه الدراسة من يبنون وكلاء للبريد والتسوق والحجوزات: فالدرجة العالية في معيار الاختبار لا تعني أن المستخدمين الحقيقيين سيكونون راضين. وحيث يكلّف الخطأ مالًا أو يؤدي إلى مراسلة عنوان خاطئ، تلزم آليات تحقق تميّز التوقف المقصود بناءً على طلب المستخدم من الفشل. كما تلزم اختبارات بصياغات متعددة للمهمة الواحدة. ويقترح المؤلفون تقييم الوكلاء لا بتنفيذ المهمة فحسب، بل أيضًا بمدى مراعاتهم للمتطلبات والقيود التي عبّر عنها الشخص.

والتحفظات واضحة: فالمستخدمون والحَكَم هنا أنفسهم ذكاء اصطناعي، ومن عائلة واحدة، كما أن عدد المهام 74 فقط. لكن الاتجاه جليّ: تبقى فجوة ملحوظة بين «أنجز المهمة» و«ساعد الإنسان».