UserArena: اختبار معياري على 64 729 جلسة يفحص هل يمكن محاكاة المتسوّقين

تتعلّم أنظمة التوصية القائمة على الوكلاء كيف تقود المتسوّق نحو هدفه عبر سلسلة من القرارات المرتبطة بالسياق. واختبار هذه السياسات على أشخاص حقيقيين مكلف ومحفوف بالمخاطر، ولذلك يحتاج القطاع إلى محاكيات للمستخدمين. قدّم فريق RecGPT-Team اختبار UserArena، الذي يقيس مدى أمانة المحاكي في تكرار سلوك المتسوّقين الحقيقيين في الجلسات الطويلة. تضم المجموعة 64 729 مسارًا لـ 11 010 مستخدمين، و566 102 منتج، و13 نوعًا من الإجراءات. واقترح المؤلفون مع الاختبار طريقة تدريب باسم On-Policy Trajectory Distillation (OPTD)، وبيّنوا أنها تتصدّر المحاكيات المقارَنة.

لماذا لا تضمن دقة النقرة التالية شيئًا؟

قلّما تحتوي معظم الموارد المتاحة لأنظمة التوصية على مسارات طويلة ومفصّلة لمستخدمين حقيقيين. وأقلّ من ذلك أن تتيح تقييم المسار بأكمله ومقارنة النتائج في وضع عدم الاتصال باختبارات A/B الحية. لذلك اعتادت المحاكيات أن تتنافس في دقة التنبؤ بالإجراء التالي. لكن المتسوّق في المتجر لا يخمّن خطوة واحدة؛ فهو يبحث ويقارن ويعود ويؤجّل ويشتري أو يغادر. وقد يتنبأ المحاكي بكل نقرة محلية دون خطأ، ومع ذلك ينتج نمط سلوك لا يشبه أي متسوّق حقيقي.

يعالج UserArena هذه المشكلة من جانبين في آن واحد. فمع المسارات تأتي بيئة تفاعلية يتصرف فيها المحاكي كمستخدم، وتتفاعل فيها سياسة التوصية مع خطواته. وإضافة إلى ذلك، يمكن مقارنة نتائج وضع عدم الاتصال بنتائج اختبار A/B مضبوط من بيئة الإنتاج. وهذه فرصة نادرة للمطوّر ليعرف هل يمكن الوثوق بالمحاكي عند الاختيار بين سياستين.

خمسة مستويات للفحص

يُبنى التقييم في UserArena كسلّم متدرّج من البسيط إلى المعقّد:

• صلاحية المخرجات. يُنتج المحاكي إجراءات صحيحة بالصيغة المسموح بها.
• القرارات المحلية. ما مدى دقة اختيار الإجراء التالي عند نقطة محددة من الجلسة.
• السلوك المتسلسل. هل سلسلة الخطوات واقعية على امتداد المسار كله.
• التخصيص. هل يختلف سلوك المستخدمين المختلفين بالقدر نفسه الذي يختلف به في البيانات الحقيقية.
• النتائج. هل تتطابق النتائج النهائية مع ما يُلاحَظ في بيئة الإنتاج.

يتيح هذا التقسيم رؤية الموضع الدقيق الذي ينهار عنده المحاكي. فقد يجتاز النموذج المستويات الأولى بثقة ثم يخفق في التخصيص أو في النتائج. ولا يكشف مقياس إجمالي واحد ذلك.

OPTD: المعلّم يرشد على مستوى الرموز والطالب يسير بنفسه

لرفع الدقة، يقترح المؤلفون On-Policy Trajectory Distillation. تعمل الطريقة بنمط on-policy: يولّد المحاكي الطالب الاستجابات بنفسه، ويقيّمها المعلّم بتوسيم كثيف على مستوى الرموز (tokens). والعنصر الأساسي هو النيّة على مستوى المسار. فهي تمنح المعلّم الهدف العام للجلسة، فتبقى الإرشادات عند كل رمز متسقة مع ما يسعى إليه المستخدم على المدى الطويل.

المنطق واضح. إذا دُرّب المحاكي على مسارات جاهزة فقط، فإنه يتعامل بصورة سيئة مع أخطائه هو: يكفي أن ينحرف في اتجاه خاطئ حتى يجد نفسه في حالات لم يرها أثناء التدريب. والتدريب على مساراته الخاصة مع إرشادات كثيفة يسدّ هذه الفجوة. أما مراعاة النيّة فتمنع الاستجابات المقبولة محليًا من الانجراف بعيدًا عن الهدف العام.

ومن بين المحاكيات التي جرى تقييمها، حقّقت OPTD أفضل دقة إجمالية ضمن بروتوكول UserArena. والأهم من ذلك أنها كانت في المحاكاة دون اتصال الأقرب إلى إعادة إنتاج أثر السياسة المسجّل في اختبار A/B الحقيقي. وهذا المقياس هو الأقرب إلى السؤال العملي: «هل يمكن استبدال جزء من التجارب الحية بالمحاكاة؟».

ما الذي يمكن اعتماده في العمل الآن

نُشرت الشيفرة والبيانات في مستودع RecGPT-Team/UserArena على GitHub، وفيه أيضًا صفحة المشروع. ويمكن للفرق التي تبني وكلاء للتوصيات والتسوّق استخدام المجموعة كمنصة اختبار لمقارنة السياسات في وضع عدم الاتصال قبل إطلاق اختبارات A/B المكلفة. ويُستحسن تطبيق البروتوكول ذي المستويات الخمسة على المحاكيات الخاصة أيضًا، فهو يُظهر بسرعة المرحلة التي يكفّ عندها المحاكي عن مشابهة المستخدمين الحقيقيين. أما نهج OPTD نفسه فيصلح حيثما يلزم تدريب نموذج على تسلسلات طويلة من الإجراءات ذات نيّة عامة واضحة.

والقيد بديهي من طبيعة التصميم: فقد بُني الاختبار على بيانات من بيئة تجارة إلكترونية واحدة. أما مدى انتقال النتائج إلى أسواق وفئات منتجات أخرى، فستكشفه عمليات تحقق مستقلة. نُشر عمل المؤلفين Jujia Zhao وJiakai Tang وJing Yu وWen Chen وJian Wu وHan Zhu وFei Sun وSuzan Verberne وZhaochun Ren على arXiv (2610.30932)، وتصدّر القائمة اليومية للأوراق البحثية على Hugging Face.