علم اللغة الاجتماعي بدلًا من قضاة LLM: اختبار شخصيات المحاكاة على 5 وكلاء

أصبحت محاكيات المستخدمين أداة عمل لاختبار الوكلاء: فالمختبِرون من البشر لا يكفون، بينما يتزايد عدد الوكلاء التجاريين. المشكلة أن المحاكيات نفسها تختلف بوضوح عن البشر الحقيقيين، وعادةً ما يقيّم موثوقيتها نموذج LLM آخر، وهذا مكلف وذاتي. يقترح مؤلفو مسودة بحثية جديدة على arXiv (cs.CL، 2610.10988) إخراج القاضي من العملية وقياس وفاء الشخصية بطرق حتمية. وأُجريت التجربة التجريبية على خمسة وكلاء لدعم العملاء.

الشخصية كمجموعة من الترددات الأسلوبية

عادةً ما تُوصف شخصية المستخدم بالكلمات: «عميل مسن، منزعج، يكتب باختصار». ثم يقرر النموذج بنفسه كيف يحوّل هذا الوصف إلى سلوك، ويصعب التحقق من النتيجة. يسلك الباحثون طريقًا مختلفًا ويستندون إلى علم اللغة الاجتماعي. فالشخصية هنا نمط اجتماعي يظهر في أسلوب لغوي يمكن ملاحظته. لذلك تُحدَّد بمؤشرات أسلوبية ملموسة، أي ترددات السمات اللغوية.

يتيح هذا التمثيل استخدام أداتين معروفتين منذ زمن طويل، ولا تحتاجان إلى نموذج مُقيِّم مدرَّب:

• القياس الأسلوبي للتحقق من التأليف: يُفحص ما إذا كانت نصوص الشخصيات المختلفة متمايزة من حيث الأسلوب؛
• تحليل المحتوى المعجمي: يُحسب مدى مطابقة الردود للترددات المحددة.

تتحول الطريقتان إلى تشخيص لمدى الوفاء للشخصية. وهما قابلتان للتكرار ومنخفضتا التكلفة، وتعطيان أرقامًا لا رأي نموذج آخر.

ما أظهره اختبار A/B

قارن الباحثون الإطار الاجتماعي اللغوي بخط أساس وصفي مسطّح، تُكتب فيه الشخصية على هيئة وصف نصي عادي. وشمل الاختبار خمسة وكلاء دعم موجَّهين للمهام. ووفق ما ورد في الملخص، حسّن الإطار التطابق الأسلوبي وقابلية التمييز بالقياس الأسلوبي معًا لدى معظم النماذج المختبَرة. ويعني ذلك أن التأثير لدى بعض النماذج إما غائب أو أضعف، والملخص لا يكشف أي النماذج هي.

ويورد المؤلفون أنفسهم تحفظًا: الوفاء الأسلوبي للشخصية لا يساوي «طبيعيتها». فقد يطابق الرد الترددات المحددة بدقة ويبدو مع ذلك كأن آلة كتبته. وهذا قيد مهم لمن ينوي استبدال المختبِرين البشر بالمحاكيات. فالمقاييس تبيّن مدى تحقق الأسلوب المطلوب، لكنها لا تضمن أن الإنسان كان سيكتب بالطريقة نفسها.

وثمة فكرة أخرى في الدراسة تتعلق باستخدام المقاييس. فأقصى فائدة منها تتحقق في إسناد الأخطاء إلى مصادرها: إذ يمكن معرفة المستوى الذي ينهار عنده الأسلوب، مثل المفردات أو طول الجمل أو علامات الترقيم. وهذه خطوة نحو تدخلات تقرّب المحاكي من التنوع الحقيقي في لغة المستخدمين.

كيف تُطبَّق في اختبار الوكلاء

الدراسة تجريبية، وما زالت مسودة بحثية لم تخضع للمراجعة، وعيّنة الوكلاء الخمسة صغيرة. لكن الخلاصة العملية للفرق التي تبني خطوط eval للوكلاء واضحة:

• صِفوا مستخدمي الاختبار بالأرقام. فنِسَب الاختصارات والأخطاء الإملائية وصيغ المجاملة وطول الرد قابلة للتحقق، أما «العميل الفظّ نوعًا ما» فلا.
• أضيفوا طبقة تحقق حتمية إلى جانب قاضي LLM. فهي أرخص، وتتيح رصد تراجعات المحاكي عند تغيير النموذج.
• حلّلوا الإخفاقات بحسب مكونات الأسلوب. فإذا «تلاشت» الشخصية على مستوى المفردات لا التركيب النحوي، فالمطلوب تعديل مقطع محدد من الـprompt.
• لا تخلطوا بين الدقة الأسلوبية والواقعية. فالتحقق النهائي ما زال يحتاج إلى عيّنة من حوارات حقيقية أو إلى تقييم بشري.

وإذا تأكدت فاعلية هذا النهج على عدد أكبر من النماذج والمجالات، فسيمنح الصناعة مقياسًا منخفض التكلفة وقابلًا للتكرار لمعالجة إحدى أضعف النقاط في تقييم الوكلاء.