اختبر CRM-Agent-Bench 16 وكيلًا للذكاء الاصطناعي: الأفضل أنجز 83,6% من المهام وفق المعايير الصارمة

قد يبدو الوكيل في المحادثة بلا أي عيب، ومع ذلك يترك في نظام CRM سجلًا تالفًا، أو حالة طلب خاطئة، أو عملية استرداد أموال زائدة. يقيس معيار CRM-Agent-Bench هذه الفجوة تحديدًا بين «ما قاله» الوكيل و«ما فعله». أعدّ المؤلفون Monojit Banerjee وZhujun Lan وDefu Cao 555 مهمة تتضمن حالة بيانات وعدة أدوار حوارية في تسعة مجالات أعمال. وحققت الأنظمة الستة عشر التي خضعت للتقييم نجاحًا صارمًا تراوح بين 64,32% و83,60%. الكود منشور في مستودع salesforce-misc/crm-agent-bench، وللمشروع صفحة مستقلة.

عقد قابل للتنفيذ بدلًا من «يبدو صحيحًا»

تنظر معظم معايير الوكلاء إما إلى الإجابة النهائية وإما إلى الحالة الختامية للبيئة. ويرى المؤلفون أن ذلك لا يكفي للنشر في بيئات الإنتاج، ويقترحون تقييم أربعة جوانب معًا:

• النتيجة، أي ما انتهى إليه الوكيل؛
• المسار، أي الخطوات التي سلكها؛
• الجدوى التشغيلية: زمن الاستجابة والتكلفة؛
• الالتزام بالسياسات المحددة في المهمة.

يناسب نظام CRM هذا النوع من الاختبار تقريبًا على أكمل وجه: فالسجلات تتغير، وتعلوها قواعد تشغيلية، وللخطأ فيها عواقب مالية. لذلك زُوِّدت كل مهمة من المهام الـ555 بعقد تنفيذي خاص بها. ويتكوّن العقد من فحوصات من ستة أنواع:

• الإجراءات التي يجب على الوكيل تنفيذها؛
• وسائط استدعاءات الأدوات؛
• ترتيب العمليات؛
• مضمون الرد على المستخدم؛
• الحالة المستهدفة للبيانات بعد انتهاء العمل؛
• الحالة المحمية التي لا يجوز المساس بها.

البند الأخير أهم من سابقيه. فالوكيل الذي أغلق تذكرة وكتب فوق سجل يخص غيره نفّذ الطلب شكليًا، لكنه تسبب في حادثة داخل شركة حقيقية. ويُعرَّف النجاح في المعيار بوصفه عطفًا صارمًا: لا تُحتسب المهمة إلا إذا اجتازت جميع الفحوصات المعلنة لها تحديدًا. ولا تُمنح درجات جزئية مقابل «شبه الصحيح».

ستة عشر نظامًا وسقف عند 83,6%

لا يُقيَّم النموذج المجرد، بل النظام بأكمله: غلاف الوكيل والأدوات ومنطق الحوار. وهذا أقرب إلى ما تشتريه الشركات وتشغّله فعلًا. وإضافة إلى نسبة المهام الناجحة، يسجّل المعيار نسبة التغطية بالتقييم وزمن الاستجابة وتكلفة التشغيل.

جاءت النتائج في الإصدار النهائي الذي جرى التحقق منه على النحو التالي: تراوح النجاح الصارم لدى الأنظمة الستة عشر بين 64,32% و83,60%. ويدل هذا التفاوت، الذي يبلغ نحو عشرين نقطة مئوية، على أن المهام ليست مشبعة وأن المعيار يميّز بين الأنظمة. أما الأنظمة المتصدرة فمتقاربة في النتائج، لكنها تتباعد بحدة في السعر وفي الموثوقية داخل مجالات بعينها. وقد يكون النظام الواحد قويًا في مجال معرفي ويتراجع في آخر، والنسبة المتوسطة تخفي ذلك.

وُسمت المهام بـ36 وسمًا للقدرات، ولذلك يمكن تحليل الإخفاقات بحسب مهارات ومجالات محددة، لا بحسب رقم إجمالي واحد. ويصف المؤلفون الإطار بأنه قابل للتدقيق والنقل، ويمكن توسيع بنيته كلما اقتربت النماذج من السقف.

كيف يُستفاد من ذلك عند اختيار وكيل

أمام الفرق التي تدمج الوكلاء في خدمة الدعم أو المبيعات أو الأعمال الخلفية (back-office) درس رئيسي: دقة الإجابة لا تضمن صحة المعاملة. والمطلوب تقييم الحالة النهائية للبيانات، وترتيب الإجراءات، وغياب الآثار الجانبية.

النتيجة العملية الثانية: ينبغي قراءة الأرقام كزوج «النجاح مع التكلفة». فإذا اختلفت الأنظمة المتصدرة اختلافًا كبيرًا في السعر ولم تختلف تقريبًا في الجودة، فإن اختيار أغلى خيار قرار ضعيف المسوّغ.

الثالثة: النسبة الإجمالية لا تغني عن التحليل بحسب المجالات. وقبل أن تأتمن وكيلًا على المدفوعات أو المرتجعات أو تعديل سجلات العملاء، يجدر تشغيل مهام تخص مجال عملك والنظر في الحالة المحمية. ويمكن نقل بنية العقود في CRM-Agent-Bench إلى عملياتك الخاصة، بأن تصف لكل سيناريو الإجراءات المتوقعة، والوسائط المسموح بها، والبيانات التي لا يجوز المساس بها.

ويبقى قيد قائم: السقف البالغ 83,6% يعني أن مهمة واحدة تقريبًا من كل ست مهام تفشل وفق المعايير الصارمة حتى لدى أفضل نظام. وهذا قليل للعمليات التي يكلّف فيها الخطأ مالًا، ما لم تُدعم برقابة بشرية وآليات للتراجع.