MADS يعلّم وكلاء المحادثة ألا ينهاروا: 1095 حوارًا، 66% منها بسيناريوهات «سيئة»

يعمل وكلاء المحادثة الذين يحجزون ويُجرون عمليات الإرجاع ويغيّرون الباقات عبر استدعاء الدوال بكفاءة ما دام المستخدم مهذبًا ويصوغ طلبه بوضوح. لكن المستخدمين الحقيقيين لا يتصرفون هكذا دائمًا. يقترح مؤلفو الورقة البحثية arXiv:2610.12757 نظام MADS (Multi-Agent Dialog Simulation)، وهو خط إنتاج للبيانات الاصطناعية يبني عن قصد حوارات مع محاور غير ودّي وغير بنّاء. وعلى أساسه بُني MADS-Bench: ستة مجالات و55 شخصية و1095 حوارًا. وتتضمن نحو 66% من المحادثات سيناريوهات يخطئ فيها الوكيل بسهولة.

لماذا لا تكفي المعايير الحالية

بحسب تقدير المؤلفين، تمثّل مجموعات الاختبار الشائعة لقياس function calling المسارات الخصامية تمثيلًا ناقصًا. فهي مليئة بـ«المسارات السعيدة»: المستخدم يذكر كل المعاملات، ولا يغيّر قراره، ولا يجادل. والنموذج المدرَّب على بيانات كهذه يكتسب خبرة قليلة في التعامل مع شخص يتهرب من الأسئلة أو يناقض نفسه أو يضغط على الوكيل.

وهكذا تنشأ حلقة مغلقة. فجمع حوارات فاشلة حقيقية مكلف ويثير إشكالات تتعلق بالخصوصية، ووسمها يدويًا أكثر كلفة. لذلك تقلّ هذه الحالات في عينات التدريب، ويفشل الوكيل تحديدًا حيث يُطلب منه الموثوقية.

كيف يعمل MADS

يعمل MADS كمحاكاة متعددة الوكلاء. تؤدي عدة أدوار قائمة على LLM المحادثة، ويؤدي أحدها دور المستخدم بشخصية محددة وملف سلوكي معيّن. ويُحقَن في الحوار، بحسب التصميم، سلوك عدائي أو غير بنّاء. بعد ذلك تخضع المسارات للتحقق، ولا يدخل المجموعة إلا ما اجتاز هذا التحقق. ومن هنا جاءت صياغة المؤلفين عن «مسارات متحقَّق منها تعكس مسارات غير سعيدة واقعية».

لم يكشف الملخص أي النماذج تؤدي الأدوار، ولا وفق أي معايير يجري التحقق. وهذا سؤال محوري يُطرح على النص الكامل للورقة، لأن واقعية البيانات تعتمد عليه.

ما الذي يضمه MADS-Bench وكيف اختُبرت النماذج

معلمات المجموعة بحسب الملخص:

• 6 مجالات موضوعية؛
• 55 شخصية مستخدم؛
• 1095 حوارًا، أي نحو 20 في المتوسط لكل شخصية ونحو 180 لكل مجال؛
• نحو 66% من المحادثات بسيناريوهات failure-prone، أي ما يقارب 720 حوارًا.

لتقييم المتانة يستخدم المؤلفون تدريبًا من مرحلتين. تبدأ المرحلة الأولى بـ supervised fine-tuning (SFT) على المسارات المولَّدة. ثم يُطبَّق reinforcement learning with verifiable rewards (RLVR)، حيث تُحسب المكافأة بطريقة قابلة للتحقق. وبالنسبة إلى الوكلاء الذين يستدعون الدوال، هذا خيار طبيعي: فصحة الاستدعاء والمعاملات والحالة النهائية للنظام يمكن التحقق منها برمجيًا، دون حَكَم ذاتي.

لا يتضمن الملخص نتائج رقمية للتدريب، ولذلك لا يمكن حاليًا تأكيد أي ادعاءات بتحسّن المقاييس ولا نفيها.

ماذا يفعل الممارسون بهذا

ينبغي للفرق التي تنشر في بيئة الإنتاج وكلاء للدعم أو الحجز أو الخدمات المالية أن تفعل ثلاثة أمور. أولًا، أن تراجع مجموعات الاختبار الخاصة بها وتحسب نسبة الحوارات التي تضم مستخدمًا غير نمطي. فإذا كانت أقرب إلى الصفر منها إلى الثلث، فمقاييس الجودة مبالغ فيها. ثانيًا، أن تنظر في التوليد الاصطناعي للمسارات الفاشلة بوصفه إضافة رخيصة إلى السجلات الحقيقية، مع عدم إغفال التحقق منه. ثالثًا، أن تتأمل في الجمع بين SFT وRLVR للمهام التي يمكن التحقق من نتيجتها بالشيفرة.

إن حجم MADS-Bench نفسه متواضع، 1095 محادثة فقط. فهو أقرب إلى منصة لمقارنة المناهج منه إلى مدوّنة تدريب كبيرة. وتكمن قيمة العمل في المنهج: فهو يبيّن كيف يمكن إنتاج بيانات منهجية عن المواضع التي ينهار فيها الوكلاء. ويبقى انتظار النص الكامل والشيفرة وأرقام نتائج التدريب.