اختبار iPrefBench: وكلاء iOS ينفذون 91,6% من الإجراءات لكنهم ينجزون 47,7% من المهام فقط

الوكيل الذي «يعرفك» ويتصرف نيابةً عنك ما زال الوعد الأكبر لمساعدي الذكاء الاصطناعي. ويُظهر اختبار iPrefBench الجديد مدى بُعد هذا الوعد عن الواقع. في 130 مهمة ناقصة عن قصد داخل 26 تطبيقًا لنظام iOS، وصل سبعة وكلاء متقدمين إلى 91,6% في تقييم الإجراءات المنفذة، لكن نسبة المهام التي أنجزوها بنجاح كامل لا تتجاوز 47,7%. أما الباقي فتلتهمه مشكلة التخصيص.

موقفان يتعيّن على الوكيل فيهما أن يفكّر

يتعامل الوكلاء الحاليون الذين يعملون عبر الواجهة بثقة مع الأوامر المحددة بالكامل: فتح تطبيق، والتنقل بين الشاشات، والضغط على الأزرار المطلوبة. لكن الناس لا يتحدثون بهذه الطريقة. فطلب مثل «اطلب لي المعتاد» أو «احجز كما في المرة السابقة» يُسقط نصف المعاملات. ولكي ينفذ الوكيل الطلب بشكل صحيح لهذا الشخص تحديدًا، عليه أن يختار إحدى استراتيجيتين.

الأولى استنتاج الناقص من سجل نشاط المستخدم. والثانية السؤال عمّا ليس في السجل ولا يمكن أن يكون فيه. وفي الحالتين لا يجوز للوكيل أن يختلق افتراضات لا تستند إلى بيانات، ولا أن يغرق المستخدم بأسئلة زائدة. ويبني مؤلفو الاختبار تقييمهم حول هذا التوازن. فكل شرط ناقص يعتمد على المستخدم هو بحكم التصميم إما history-inferable (يمكن استنتاجه من السجل) وإما ask-only (لا يُعرف إلا بالسؤال).

شخصية بـ3 051 حدثًا ومحاور محاكى

البيئة قابلة للتنفيذ: يعمل الوكلاء في بيئة iOS ولا يكتفون بالإجابة عن أسئلة حول لقطات الشاشة. ويقوم الاختبار على شخصية واحدة متماسكة لها 3 051 حدثًا من النشاط السابق. هذا هو السجل الذي يستطيع الوكيل أن يستمد منه التفضيلات. وللحوار يُستخدم مستخدم محاكى تفاعلي: إذا قرر الوكيل توضيح تفصيل ما، يجيبه المحاكي، لا ردّ مسجل مسبقًا.

معايير المجموعة:

• 130 مهمة مستخدم ناقصة؛
• 26 تطبيقًا؛
• 3 051 حدثًا في سجل شخصية واحدة؛
• نوعان من المتطلبات الناقصة: ما يمكن استنتاجه من السجل وما يتطلب سؤالًا؛
• 7 وكلاء متقدمين خضعوا للاختبار؛
• مجموعتان من المقاييس: تنفيذ المهمة المخصص (هل أُنجزت بالشكل الصحيح لهذا المستخدم) وتفاعل الوكيل مع المستخدم (هل سأل الوكيل عندما كان السؤال ضروريًا)؛
• أفضل نتيجة في تقييم الإجراءات المنفذة: 91,6%؛
• أفضل نتيجة في النجاح الكامل للمهمة: 47,7%.

أين يتعثر الوكلاء

الخلاصة الرئيسية هي الفجوة بين «أعرف كيف أضغط» و«أفهم ما يريده الإنسان». فآلية التنفيذ لدى أفضل الوكلاء شبه مصقولة، وتبدو درجاتهم في الإجراءات شبه مثالية. لكن المهمة لا تُعدّ محلولة إلا إذا طابقت النتيجة تفضيلات المستخدم، وهنا تنخفض النتيجة إلى النصف تقريبًا.

وأضعف نقطة هي معلومات ask-only. فالوكلاء تنقصهم الانضباط للتوقف في الوقت المناسب وطرح السؤال: يطلبون بيانات أقل مما يلزم ويواصلون العمل بالتخمين. وهذا نمط خطير في السيناريوهات الواقعية، مثل الحجوزات والمدفوعات والرسائل، حيث يتحول الافتراض الخاطئ إلى إجراء خاطئ. أما في المهام المعتمدة على السجل فالصورة أخف من حيث المبدأ، لكن الوكلاء هنا أيضًا مضطرون إلى استخلاص المطلوب من آلاف الأحداث.

نُشرت الورقة على Hugging Face في صفحة مؤسسة Apple، ومن مؤلفيها Yuting Ning وRuijia Cheng وSushobhan Ghosh وPeitong Duan وHungShi Lin وAbhishek Sundararajan وShreyash Pandey وHuan Sun وJeffrey Nichols وEldon Schoop. واختيار iOS والمستخدم المحاكى يكشف بحد ذاته أين تتجه أنظار المطورين: فالوكيل الشخصي على الهاتف ينبغي ألا يكتفي بالتنفيذ، بل أن يعرف حدود معرفته.

أما لمن يبني وكلاء الهاتف أو يختار بينهم، فالخلاصة عملية. فمقاييس الخطوات ونجاح الإجراءات لم تعد تكشف شيئًا عن الجودة: يجب قياس مدى صحة ملء الوكيل للمعاملات الناقصة، وعدد المرات التي سأل فيها حيث لا يمكن الاستغناء عن السؤال. وينبغي فحص سياسة التوضيح، أي متى يجب على الوكيل أن يتوقف، لا دقة النقرات وحدها. وإلى أن يتعلم الوكلاء التمييز بين «أستطيع معرفة ذلك» و«المستخدم وحده من يستطيع قوله»، سيظل تفويضهم الكامل بالمهام الشخصية محفوفًا بالمخاطر.