LifeVal يختبر وكلاء الذكاء الاصطناعي للمهام اليومية: حققوا بين 90.4% و100% في خمس مهام

صُممت معظم اختبارات الذكاء الاصطناعي بما يلائم المختبر: يُطرح سؤال على النموذج، ثم تُقارن إجابته بإجابة مرجعية. لكن هذا لا يكفي لوكيل يتولى شؤون الحياة اليومية. فقد يشرح الوكيل بصورة صحيحة كيفية اختيار حضانة، لكنه لا يراعي وقت التنقل، أو عمر الطفل، أو المواعيد النهائية للتقديم، أو المستندات الخاصة بعائلة بعينها. فالمستخدم لا يقيّم جمال النصيحة، بل ما إذا كانت المهمة قد اقتربت بالفعل من الاكتمال.

قدمت OpenAI نظام LifeVal، وهو مجموعة اختبارات مخصصة لمثل هذه المهام اليومية متعددة الخطوات. وفي الأمثلة المنشورة، حصلت النماذج على نتائج تراوحت بين 90.4% و100%: 90.4% لإعداد خطة تغذية ورعاية بعد تشخيص الإصابة بالسكري، و93.1% لاختيار حضانة، و96.3% لتنظيم مشاهدة جماعية لمباراة، و98% لتنسيق المتطوعين قبل وقوع فيضان. أما مهمة البحث عن سكن، فقد أظهرت نتيجة قدرها 100%. ومن المهم الإشارة إلى أن هذه مهام استعراضية منفصلة، وليست متوسط دقة LifeVal.

ما الذي يختبره LifeVal تحديدًا؟

لم يبدأ المؤلفون بقائمة لقدرات النماذج، بل بسؤال: في أي شؤون يحتاج الناس فعلًا إلى المساعدة؟ وللإجابة عنه، قارنوا دراسات استخدام الوقت في الولايات المتحدة ودول أخرى بنتائج استطلاعهم الخاص. وتشير صفحة مشروع OpenAI إلى مشاركة 3,995 شخصًا، بينما تتحدث الورقة عن أكثر من 3,800 مستجيب. وتضم الخريطة النهائية 148 فئة، تشمل رعاية المقرّبين، والتعليم، والشؤون المالية الشخصية، والتسوق، والانتقال إلى منزل جديد، والبحث عن عمل، والحصول على الخدمات الحكومية.

بعد ذلك، أُعدت مهام مخصصة للسيناريوهات الأعلى طلبًا. وتستخدم هذه المهام سياق الشخص، والملفات المرجعية، والذكريات، ومقاطع منزوعة الهوية من محادثات حقيقية مع ChatGPT. وكان مطلوبًا من منشئي المهام امتلاك خبرة شخصية في حل المشكلة المعنية، وكتابة معايير التقييم، واجتياز ما لا يقل عن ثلاث مراحل لمراقبة الجودة.

لنأخذ مثالًا بسيطًا: تنتقل عائلة إلى منزل جديد وتطلب المساعدة في اختيار حضانة. لا يكتفي الوكيل الجيد بقائمة من المؤسسات؛ بل يقارن المسافات وشروط القبول وتفضيلات العائلة، ويجمع الخيارات المناسبة، ويشرح عملية التسجيل خطوة بخطوة، ويشير بصورة منفصلة إلى القرارات التي لا يمكن اتخاذها من دون تدخل بشري. ويُقيَّم الناتج بأكمله، لا مجرد توصية واحدة موفقة.

لماذا يهم ذلك المطورين؟

ينقل LifeVal وحدة القياس من الإجابة إلى السيناريو المكتمل. وبالنسبة إلى فريق المنتج، يوفر ذلك معيارًا عمليًا: ينبغي أن يشمل اختبار الوكيل البحث، والعمل مع المتصفح والملفات، واستخدام السياق الشخصي، وطلب التأكيد قبل تنفيذ إجراء حساس، وتقديم نتيجة واضحة للمستخدم.

يساعد هذا النهج على اكتشاف أخطاء لا تظهر في المحادثات التقليدية. فقد يعثر الوكيل على النموذج الصحيح، لكنه يختار مستندًا مخصصًا لمنطقة أخرى. وقد يضع ميزانية، لكنه يغفل دفعة دورية. وقد يواصل العمل بثقة رغم افتقاره إلى شرط حاسم واحد. لذلك، من المفيد قياس جودة النص النهائي، وكذلك نسبة الخطوات المكتملة، وعدد الافتراضات غير المؤكدة، وصحة المصادر، والقدرة على إحالة القرار إلى إنسان في الوقت المناسب.

جوانب تستدعي الحذر

أنشأت OpenAI نظام LifeVal، وقد استُخدم بالفعل لتحسين نماذجها. وهو أداة داخلية مفيدة، لكن لا يمكن تعميم النتائج المرتفعة المنشورة تلقائيًا على أي طلب أو بلد أو واجهة. ولا تعرض الصفحة درجة إجمالية موحدة تتيح مقارنة جميع النماذج بإنصاف، كما أن السيناريوهات المخصصة شديدة الحساسية لاكتمال السياق والأدوات المتاحة.

هناك أيضًا مخاطر على مستوى المنتج: فالوكيل اليومي يتعامل مع الشؤون المالية، والصحة، والظروف العائلية، والمستندات الحكومية. وكلما أصبح الاختبار أكثر واقعية، وجب تشديد قواعد إخفاء هوية البيانات، والفصل بين صلاحيات الوصول، وتسجيل الإجراءات، وتأكيد العمليات.

الخلاصة العملية بسيطة: ينبغي للفرق إنشاء نسخة صغيرة خاصة بها من LifeVal، تضم ما بين 20 و30 سيناريو واقعيًا للمستخدمين. ويجب وصف البيانات الأولية، والإجراءات المسموح بها، وعمليات التحقق الإلزامية، واللحظة التي ينبغي فيها تسليم التحكم إلى إنسان، والنتيجة القابلة للقياس لكل سيناريو. وستكشف مثل هذه المجموعة مدى جاهزية الوكيل ليصبح منتجًا بسرعة أكبر من اختبار إضافي للمعرفة العامة.