OpenAI تطلق LifeVal: معيار يختبر وكيلاً يسجل طفلاً في الحضانة ويطلب البقالة

تسأل معظم المعايير النموذج عما يعرفه. أما OpenAI فتطرح سؤالاً مختلفاً: هل يستطيع إنجاز روتين الحياة الممل نيابة عنك؟ من هنا ظهر LifeVal، وهو تقييم لا يُطلب فيه من الوكيل تقديم النصيحة فحسب، بل إتمام المهمة والوصول إلى النتيجة.

ما هو LifeVal؟

استند المعيار إلى قاعدتي بيانات كبيرتين حول كيفية قضاء الناس لأوقاتهم: American Time Use Survey وMultinational Time Use Study. واستُخدمتا لإعداد فهرس بالأعمال اليومية. بعد ذلك، أجرت OpenAI استطلاعها الخاص على عينة من 3 995 مشاركاً ممثلة ديموغرافياً، وحددت المجالات التي يحتاج الناس فيها إلى مساعد شخصي أكثر من غيرها.

تشمل المهام في صورتها النهائية رعاية الأقارب، والصحة، والتعليم، وإدارة شؤون المنزل، والتمويل الشخصي، والتسوق، والخدمات الحكومية. وهذه ليست أسئلة متعددة الخيارات، بل سيناريوهات تتطلب فتح مواقع إلكترونية، ومقارنة البدائل، وإجراء الحسابات، وإتمام المعاملة.

كيف تبدو المهام؟

مثال: انتقل مستخدم إلى منزل جديد وطلب مقارنة الحضانات القريبة منه. يقلص الوكيل الخيارات إلى ثلاث حضانات، ويجمع شروط التسجيل، ويوضح بصراحة أن تفضيلين يتطلبان قراراً بشرياً. وبلغت النتيجة في هذه المهمة 93,1%.

ومن الأمثلة الأخرى الواردة في المنشور:

• العثور على منزل في مقاطعة Luzerne ضمن الميزانية، مع وحدة معيشة مستقلة ومسافة انتقال قصيرة بعد المدرسة، ثم حساب ضريبة نقل الملكية ووضع المستند في سلة التسوق: 100%؛
• إعداد خطة الوجبات والتذكيرات للأسبوع الأول لأحد الوالدين بعد تشخيصه حديثاً بالسكري: 90,4%؛
• تنظيم المتطوعين قبل حدوث فيضان: 98,0%؛
• إعداد مشاهدة مشتركة لمباراة مع الجدة، مع خيار احتياطي في حال تعطل البث: 96,3%.

يحقق GPT-6 Astra في جدول أفضل النتائج نسبة 100% في مهام مثل تسجيل طفل صغير في نشاط حسي، وحجز موعد للفحص الفني، وطلب منتجات حلال ضمن الميزانية، وإلغاء الاشتراك في القوائم البريدية.

تشدد OpenAI على أن النماذج أصبحت خلال عام واحد أسرع وأكثر دقة بصورة ملحوظة في التعامل مع المتصفح والكمبيوتر والموصلات. وهذا تحديداً ما يحول ChatGPT من أداة للدردشة إلى وكيل.

ما الذي ينبغي أخذه في الحسبان؟

أولاً: الشركة هي التي ابتكرت المعيار، واختارت الأمثلة، وعرضت النتائج بنفسها. ولا يتضمن النص وصفاً لمنهجية التقييم: لا نعرف من يقرر، ولا كيف يُقرر، أن المهمة أُنجزت بنسبة 93,1% لا 100%. كما لا توجد مقارنة مع نماذج المنافسين.

ثانياً: تحقيق 100% في عدد من المهام يدل على الأرجح على تشبع هذه السيناريوهات المحددة أكثر مما يدل على موثوقية الوكيل في الحياة الواقعية. فالمهام المتعلقة بالدفع والطب والخدمات الحكومية تتطلب معدلاً بالغ الانخفاض للأخطاء، وهو ما لا توضحه النسبة المئوية المتوسطة.

ثالثاً: كثيراً ما يتوقف الوكيل في الأمثلة ويطرح أسئلة على المستخدم. وهذا نمط جيد، لكنه يعني أن الاستقلالية الكاملة من البداية إلى النهاية لم تتحقق بعد.

ما الذي يمكن فعله بهذه النتائج؟

لفرق المنتجات: انظروا إلى LifeVal بوصفه خريطة للسيناريوهات التي تعتزم OpenAI المنافسة فيها. فالحضانات، والميزانيات، والخدمات الحكومية، والتسوق، ورعاية الأقارب هي المجالات التي سيتجه إليها ChatGPT القائم على الوكلاء، وستتعرض الحلول المتخصصة الضيقة المبنية حول هذه المهام للضغط.

لمطوري الوكلاء: تبنوا هذا النهج. ابنوا مجموعة المهام من السلوك الفعلي للمستخدمين بدلاً من الاختبارات الأكاديمية، وقيسوا مدى اكتمال الإجراء لا جودة النص. وأضيفوا نقاطاً للتأكيد البشري عندما تكون تكلفة الخطأ مرتفعة.

للمؤسسين: لا تعتبروا الأرقام بين 90 و100% دليلاً على جاهزية السوق. انتظروا تحققاً مستقلاً قبل بناء منتج على افتراض أن الوكيل سيُتم عملية شراء أو يملأ نموذجاً من دون أخطاء.