اختبرت OpenAI الوكلاء المخصصين للمهام اليومية في 169 مهمة وكشفت نقطة ضعفهم

صُممت معظم اختبارات الذكاء الاصطناعي بطريقة مريحة للمطورين، لكنها لا تشبه الحياة كثيرًا. يجيب النموذج عن سؤال، ويقارن النظام الإجابة بمرجع، ثم تظهر نسبة مئوية أخرى في جدول. لكن المستخدم لا يحتاج عادةً إلى فقرة صحيحة، بل يحتاج إلى العثور على حضانة بعد الانتقال، أو إعداد ميزانية للأسرة، أو ملء طلب، أو تنظيم رعاية أحد أقاربه.

قدمت OpenAI اختبار LifeVal، وهو معيار يتكون من 169 مهمة مخصصة لا يُطلب فيها من الوكيل التفكير فحسب، بل التصرف أيضًا: قراءة سجل المحادثات، ومراعاة الملفات، واستخدام المتصفح، وتغيير البيانات في التطبيقات، وإنشاء مواد نهائية جاهزة. إنها محاولة لقياس الفارق بين «النموذج يشرح جيدًا» و«المهمة أُنجزت بالفعل».

كيف يبدو التقييم عمليًا

لنتخيل المهمة التالية: انتقلت أسرة إلى مكان جديد وتطلب العثور على حضانة. سيكتفي روبوت دردشة تقليدي بسرد معايير عامة للاختيار. أما في LifeVal، فيتلقى الوكيل العنوان وتفضيلات الأسرة والمحادثات السابقة وإمكانية الوصول إلى بيئة العمل. وعليه العثور على خيارات مناسبة، والتحقق من شروط القبول، وإعداد قائمة مختصرة، وتحديد القرارات التي لا يجوز اتخاذها من دون تدخل بشري.

لا يُقيَّم مدى إقناع النص. يرى نموذج التقييم الطلب الأصلي، ومعايير المهمة، والملفات التي أُنشئت، والتغييرات التي طرأت على حالة النظام. فإذا كتب الوكيل أنه ملأ نموذجًا بينما ظل النموذج فارغًا، فلن يحصل على أي نقاط مقابل هذا الإجراء. وتُعد محاولة الوصول إلى الواجهة الداخلية لبيئة الاختبار بدلًا من الموقع المعتاد اختراقًا يؤدي إلى تصفير النتيجة.

أُعدت مجموعة المهام استنادًا إلى دراسات استخدام الوقت واستطلاع للمستخدمين. شارك في الدراسة 3 837 شخصًا، وشملت الخريطة النهائية 148 فئة من الأعمال اليومية: الشؤون المالية الشخصية، والانتقال، والبحث عن عمل، والتسوق، والتعليم، والصحة، ورعاية المقرّبين، والحصول على الخدمات الحكومية. وصاغ المهام أشخاص يملكون خبرة عملية، ثم مرت كل مهمة بثلاث مراحل على الأقل من المراجعة اليدوية.

أين ما زال الوكلاء يفشلون

المشكلة الأكثر دلالة هي المعلومات أو التوصيات الخاطئة. قد ينفذ الوكيل بثقة سلسلة طويلة من الإجراءات، لكنه يغفل تفصيلًا مهمًا ورد في محادثة قديمة مع المستخدم. وفي مهمة يومية، يكفي ذلك لجعل النتيجة بأكملها عديمة الفائدة: اختيار سكن يتجاوز الميزانية، أو طلب منتج يحتوي على مادة مسببة للحساسية، أو اختيار خدمة غير مناسبة.

هناك أيضًا تعارض دقيق بين الاستقلالية والسلامة. فالنماذج الأكثر حذرًا تتوقف غالبًا عند حدود القرار: لا تُكمل الإجراء من دون تأكيد، أو تفيد بأنها لم تتمكن من التحقق من البيانات. يبدو ذلك إخفاقًا في جدول النتائج، رغم أن الوكيل الموثوق في منتج حقيقي ينبغي أحيانًا أن يتصرف بهذه الطريقة تحديدًا.

ولا يمكن اعتبار LifeVal مقياسًا نهائيًا للجودة. أُجري الاستطلاع في الولايات المتحدة وباللغة الإنجليزية، ولذلك لا تمثل المجموعة جميع البلدان والعادات. وتستند قيمة المهام إلى الاستعداد المعلن للدفع، لا إلى مراقبة السلوك الفعلي على مدى سنوات. كما تتغير بعض بيانات الويب بمرور الوقت، ما قد يجعل عمليات التشغيل المتكررة تعطي نتائج مختلفة. وأخيرًا، يعتمد اثنان من المقيّمين الآليين على نماذج OpenAI نفسها، وهو ما يستدعي الحذر عند تفسير الأرقام.

ما الذي ينبغي لفرق المنتجات استخلاصه

الفكرة الأساسية في LifeVal أكثر فائدة من أي ترتيب محدد للنماذج. ينبغي بناء اختبارات قبول الوكيل حول النتيجة المكتملة: هل ظهر الملف؟ هل تغير الحقل المطلوب؟ هل روعيت قيود المستخدم؟ هل طلب الوكيل تأكيدًا قبل تنفيذ إجراء محفوف بالمخاطر؟ ويجب اختبار الذاكرة، والتعافي من الأخطاء، والقدرة على التوقف بصدق كلٌ على حدة.

بالنسبة إلى المطور، يعني ذلك الانتقال من مجموعة عروض توضيحية جذابة إلى سيناريوهات قابلة لإعادة الإنتاج، لها حالة ابتدائية ونتيجة قابلة للقياس وسجل للإجراءات. وبالنسبة إلى المنتج، يعني ضرورة تحديد المواضع التي يحق فيها للوكيل التصرف بمفرده مسبقًا، والمواضع التي يجب فيها إعادة التحكم إلى الإنسان. فعند هذه الحدود يتقرر ما إذا كان النظام سيصبح مساعدًا أم مجرد واجهة كثيرة الكلام.