ثلاثة نماذج LLM تتبع تعليمات التلعثم والمقاطعة بشكل سيئ، والقواعد الثابتة تتفوق عليها

تدخل الوكلاء الصوتيون مرحلة التشغيل التجاري، بينما يُختبرون على محاكيات مستخدمين يُفترض أن تتحدث كما يتحدث البشر: تتلعثم وتقاطع وتُدخل عبارات مثل «aha» و«uh-huh». فحص مؤلفو الورقة البحثية Prompts versus Rules ما إذا كانت هذه المحاكيات تنفّذ فعلاً ما طُلب منها. وقارنوا بين ثلاثة نماذج LLM مزوَّدة بموجِّهات نصية لـ tau-Voice وبين خوارزمية خاصة بهم قائمة على القواعد لا تستخدم أي نموذج إطلاقاً. ثلاثة أنماط من السلوك، ونهجان، واستنتاج واحد: الموجِّهات النصية تؤدي أداءً سيئاً.

ما الذي جرى فحصه تحديداً

في مجال الوكلاء الصوتيين، تعتمد جودة التقييم على جودة المحاكي. فإذا كان «العميل» الافتراضي يتحدث بسلاسة مفرطة أو يقاطع في مواضع عشوائية، فإن نتائج اختبار الوكيل لا تعكس التشغيل الفعلي. لاحظ الباحثون أن معظم الأعمال السابقة لا تتحقق مما إذا كانت الإعدادات المحددة قد تجسدت في المحاكاة النهائية. يكتب المطوّر «أضف التلعثم والمقاطعات»، ويحصل على الصوت، ويعدّ المهمة منجزة.

تتناول التجربة ثلاثة أنواع من السلوك الكلامي:

• التلعثمات (disfluencies)، أي التعثر والتكرار والتردد؛
• مقاطعة كلام الوكيل؛
• backchanneling، أي ردود قصيرة مثل «مفهوم» و«aha» أثناء حديث المحاور.

لم يدقق المؤلفون في المعلمات المحددة، بل في السلوك المنفَّذ فعلاً: ما الذي ظهر في النهاية في الكلام، وفي أي موضع تحديداً.

أين يفشل الاعتماد على الموجِّهات النصية

اختبر الباحثون نهج الموجِّهات النصية على ثلاثة نماذج. وكانت النتيجة سيئة بشكل ثابت: الكلام لا يطابق التعليمات. كما أن التلعثم والمقاطعات وعبارات التأكيد جاءت في مواضع وتوزيعات أقل طبيعية مما تقتضيه التعليمات نفسها. قد يتلقى النموذج توجيهاً بأن يتصرف «كشخص كثير التعثر». لكن الوقفات والمقاطعات الحقيقية تتوقف على بنية الجملة والإيقاع ولحظة الحوار، ولا يدركها نموذج LLM غير مدرَّب تدريباً خاصاً على ذلك.

لا تورد الخلاصة (annotation) مقاييس عددية للانحراف، ولذلك لا يمكن تقدير حجم الفجوة اعتماداً على الخلاصة وحدها. غير أن الاتجاه واضح. فنماذج LLM العامة، غير المدرَّبة خصيصاً على محاكاة المستخدم، لا تنقل سلوك الإنسان الحقيقي من تلقاء نفسها.

ما الذي حققته القواعد

البديل الذي يقدمه المؤلفون هو خوارزمية حقن قائمة على القواعد ولا تستخدم نموذجاً. تُدخل هذه الخوارزمية التلعثمات والمقاطعات وعبارات التأكيد وفق قواعد حتمية تستند إلى اللسانيات. وبحسب نتائج الدراسة، يعطي هذا النهج سلوكاً قابلاً للتحكم ومتنوعاً في الوقت نفسه، وأقرب إلى الكلام الطبيعي. وإذا حُدد معامل ما، فإنه يتجسد فعلاً في المحاكاة. وهذا ما يفتقر إليه الاعتماد على الموجِّهات النصية.

استنتاج المؤلفين أوسع من خوارزمية واحدة. فسدّ الفجوة يتطلب إما أساليب حتمية مؤسَّسة لسانياً، وإما نماذج متخصصة لمحاكاة المستخدمين. وفي الوقت نفسه، ينبغي للمجتمع البحثي نشر القيم المنفَّذة فعلاً، لا الإعدادات وحدها.

كيف تُطبَّق هذه الاستنتاجات عملياً

يمكن للفرق التي تختبر الوكلاء الصوتيين اتخاذ عدة خطوات منذ الآن:

• ألا تعدّ المحاكاة طبيعية لمجرد أن الموجِّه النصي يتضمن التلعثم والمقاطعات؛
• أن تقيس التكرار الفعلي لهذه الأحداث ومواضعها في العبارات المولَّدة؛
• أن تجمع، في السيناريوهات الخاضعة للتحكم، بين نموذج LLM يكتب مضمون العبارة وطبقة حتمية تضيف السلوك؛
• أن تذكر، عند نشر نتائج الاختبار، المؤشرات المنفَّذة فعلاً، وإلا فقدت المقارنة بين الوكلاء معناها.

بالنسبة إلى سوق الوكلاء الصوتيين، هذه مسألة قابلية إعادة الإنتاج. فإذا كان «المستخدم» الاختباري غير قابل للتنبؤ، فمقاييس جودة الوكيل غير قابلة للتنبؤ أيضاً. تبدو القواعد البسيطة هنا أكثر تواضعاً من نماذج LLM، لكنها توفر التحكم اللازم لتقييم نزيه.