Kolab: 115 ساعة من التسجيلات تُظهر أن وكلاء الذكاء الاصطناعي لا يفهمون زملاءهم من البشر

نشر باحثون من Minnesota NLP مجموعة البيانات والمعيار الاختباري Kolab لتقييم كيفية عمل وكلاء الذكاء الاصطناعي إلى جانب البشر، لا بدلًا منهم. يستند المشروع إلى أكثر من 115 ساعة من تسجيلات الشاشة: عمل فيها 50 محترفًا من 40 تخصصًا مع الوكلاء على مهام واقعية ذات أفق زمني طويل. والخلاصة الرئيسية غير مريحة للقطاع: النماذج المتقدمة، الوكيلية منها والعادية، تبالغ في تقدير جودة العمل المشترك، ولا تميّز جيدًا بين التعاون الجيد والسيئ.

ماذا يحدث لرد الوكيل بعد انتهاء المحادثة

تقيس معظم المعايير الشائعة للوكلاء الأتمتة، أي هل أنجز الوكيل المهمة من المحاولة الأولى. أما مؤلفو Kolab، ومنهم شيرلي أنوغراه حياتي وباتريسيا أنوغراه سيتياني وروئيزي وانغ وجويي لي وهان تشي لي ويونغ-جون لي ودونغ-يوب كان، فينطلقون من ملاحظة مختلفة. ففي المهام الطويلة، يقدّر الناس التفاعل المستمر مع الوكيل، مثل مراجعة الخطة، أكثر من قدرته على إنجاز العمل كاملًا من المحاولة الأولى.

وتناسب العمليات المهنية هذا النوع من الاختبار. فخطواتها تعتمد على بعضها: القرار المتخذ في المرحلة الثانية يغيّر كل ما يأتي في المرحلة الخامسة. ويوثّق Kolab كيف يتواصل الخبراء مع الوكيل، وما الذي يأخذونه من ردوده، وما الذي يصححونه. كما قيّم المشاركون بأنفسهم جودة التعاون والنتيجة النهائية. والنتيجة بيانات نادرة عمّا يفعله الناس بمساهمة الوكيل بعد أن تخرج من نافذة المحادثة.

وأظهر التحليل أنماط تفاعل متنوعة. ويعتمد الكثير على توقيت إشراك المتخصص للوكيل في العمل وعلى طريقته في ذلك.

اختباران لا وجود لهما في معايير الأتمتة

يرى المؤلفون أن الوكيل التعاوني يجب أن يتقن أمرين، ولا يختبر أيٌّ من اختبارات الأتمتة أيًّا منهما. ومن هنا جاءت مهمتا المعيار:

• التنبؤ باستخدام مساهمة الوكيل. على النموذج أن يتنبأ بما سيفعله الخبير باقتراح الوكيل: سيقبله أو يعدّله أو يرفضه. وتتوقف على ذلك الخطوات التالية للوكيل.
• التحقق من تقييمات التعاون. انطلاقًا من سير العمل وهو يتطور، ودون ملاحظات مستمرة من الخبير، على النموذج أن يحدد مدى رضا المشارك عن التعاون وما جودة النتيجة.

تغطي مجموعة البيانات 50 مشاركًا و40 مهنة وأكثر من 115 ساعة تسجيل. وهي تتضمن تقييمات المتخصصين أنفسهم، ولذلك فإن المرجع هو رأي الإنسان لا مقياس آلي.

أين تخطئ النماذج

جاءت النتائج متجانسة. فالنماذج المتقدمة في الفئتين، الوكيلية وغير الوكيلية، تبالغ باستمرار في تقدير جودة التعاون مع الخبراء. كما يصعب عليها التمييز بين التفاعل عالي الجودة ومنخفضه. وعمليًا، يميل النموذج إلى افتراض أن كل شيء سار على ما يرام، حتى عندما يبقى الخبير غير راضٍ أو يعيد كتابة نصف ما اقتُرح عليه.

وأقل النتائج بداهةً تتعلق بالسياق. فالتاريخ الأطول لسير العمل لا يحسّن التنبؤات بشكل ثابت. والحل الشائع «سنعطي النموذج مزيدًا من المعلومات عن مسار العمل» لا ينجح هنا. ويبدو أن المشكلة ليست في نقص الرموز (tokens)، بل في العجز عن قراءة الإشارات: كيف يتفاعل الإنسان، وما الذي يصححه بصمت، ومتى يفقد ثقته.

ماذا يفعل مطورو الوكلاء

يقدّم Kolab للفرق التي تبني وكلاء للاستخدام المهني معيارين عمليين. الأول: ينبغي أن تُضاف إلى مقاييس نجاح المهام مقاييس لقبول المساهمة. فالوكيل الذي ينجز 80% من المهام من المحاولة الأولى، لكن الخبراء يعيدون كتابة نتائجه، أقل فائدة عمليًا مما يبدو في جدول الصدارة. والثاني: التقييم الذاتي للوكيل غير موثوق. فإذا كان النموذج يبالغ في تقدير جودة العمل المشترك، فلا يجوز الاعتماد على إشاراته الخاصة بأن «كل شيء يسير على ما يرام» عند اتخاذ قرار آلي بشأن موعد طلب التأكيد من الإنسان.

أما للباحثين، فتتيح مجموعة البيانات مادة لتدريب نماذج تتنبأ بردّ فعل الخبير. والشيفرة والبيانات منشورتان بشكل مفتوح، على صفحة مشروع Minnesota NLP وفي مستودع على GitHub. ونُشرت الورقة البحثية على arXiv تحت الرقم 2610.21109، وأُدرجت في الملخص اليومي لـ Hugging Face Papers.

وثمة قيد رئيسي ينبغي إبقاؤه في الحسبان: 50 مشاركًا عينة صغيرة، وإن كان نطاق 40 مهنة واسعًا. لكن الاتجاه واضح. فما دامت الوكلاء لا تستطيع التنبؤ بما سيفعله الخبير بنتيجة عملها، فستظل أداة أتمتة، لا شريكًا في العمل.