DialFork يقيس الهلوسة الإجرائية لدى الوكلاء على 36 278 حوارًا

نشر فريق Idiap معيار DialFork، وهو أول معيار اختبار يقيس الهلوسة الإجرائية لدى وكلاء الحوار مباشرةً على النص الخام للمحادثات. تضم مجموعة البيانات 36 278 حوارًا بالإنجليزية، و24 مهمة، و12 مجالًا، و4 أنواع من الهلوسة. البيانات والشيفرة متاحتان برخصة MIT، وللمشروع لوحة ترتيب (leaderboard) عامة.

مؤلفو العمل: Sergio Burdisso وEsaú Villatoro-Tello وDairazalia Sánchez-Cortés وYanis Labrak وJordi Luque وMilos Cernak وPetr Motlicek.

الوكيل مهذب والوقائع صحيحة، لكن النتيجة غائبة

يشرح المؤلفون المشكلة بمثال بسيط. تطلب من وكيل LLM أن يتحقق من حالة الطقس. يردّ بلطف وبلغة سليمة، ولا يقول شيئًا خاطئًا. لكن بعد عشرين ردًّا لا يزال التوقع الجوي غائبًا. لقد توقف الوكيل عن اتباع الإجراء الذي كُلِّف به.

هذه هي الهلوسة الإجرائية. أدوات التحقق من الوقائع لا ترصدها، لأن العبارات نفسها سليمة. والمقاييس التي تقيّم كل رد على حدة تفوّتها أيضًا، إذ يبدو كل رد جيدًا بمفرده. ولا يظهر الخلل إلا في مسار المحادثة كلها.

كلما زاد الاعتماد على الوكلاء في خدمات الدعم وحجز مواعيد الأطباء وجمع الطلبات والسيناريوهات المصرفية، ارتفعت كلفة هذا الانجراف. فالسيناريو في هذه المجالات محدد بصرامة، والخروج عنه يُعدّ خطأً حتى لو بدا مقنعًا.

كيف يُنشأ التفرّع ومن أين يأتي التصنيف

أهم ما يقدمه DialFork أنه لا يحتاج إلى أي تصنيف يدوي. يؤخذ حوار ينفذ فيه الوكيل كل شيء بشكل صحيح، ويُعاد تشغيله بقيمة seed نفسها. وفي لحظة مختارة تُعطى للوكيل تعليمات جديدة، فيتفرّع الحوار.

يعطي موضع التفرّع علامتين فورًا. الأولى تبيّن مدى ابتعاد الفرع عن السيناريو المرجعي. والثانية تحدد الدور الذي بدأ منه الانحراف. وتُستخرج هاتان العلامتان تلقائيًا لكل حوار.

وقد جرى التحقق من هذا البناء يدويًا: أكد 30 مُعلِّقًا أن التفرّعات تُبنى فعلًا بالطريقة المقصودة.

ثلاث مهام ومقياسان يراقبان مسار المحادثة

يصف المعيار الانحراف على ثلاثة مستويات من التفصيل:

• Set-to-set distance (المراقبة). يُقيَّم مدى اختلاف مجموعة حوارات الوكيل المنشور عن المجموعة المرجعية. تفيد هذه المهمة الفريق الذي يراقب الوكيل في بيئة الإنتاج.
• Dialog-to-dialog distance (البحث الإجرائي). يُقيَّم مدى انحراف حوار واحد عن الحوار المرجعي، ويمكن بهذه المسافة البحث عن حوارات ذات إجراء مماثل.
• Turn prediction (ضوابط الحماية في الوقت الفعلي). المطلوب تحديد الدور الذي خرج فيه الحوار عن المسار للمرة الأولى. وعلى هذه الصياغة تحديدًا تُبنى آليات الحماية العاملة في الوقت الفعلي.

وللمهمتين الأوليين اقترح المؤلفون مقياسين خاصين يراعيان تدفق الحوار:

• FlowKL يقارن بين مجموعات الحوارات.
• FlowScore يقارن بين الحوارات الفردية.

يقيّم المقياسان كيف تتطور المحادثة، لا موضوعها. وعلى مستوى الحوار الفردي، يتفوق FlowScore، بحسب المؤلفين، تفوقًا ملحوظًا على جميع الطرق الأساسية عبر سبعة مرمّزات (encoders) مختلفة. والاستنتاج مباشر: التقارب الدلالي بين النصوص لا يغني عن التقارب بين الإجراءات. فقد يتناول حواران الموضوع نفسه لكنهما يسلكان مسارين مختلفين، ولن تلتقط التضمينات (embeddings) المعتادة هذا الفرق.

ماذا يفعل المطورون بهذا

إذا كنت تبني وكلاء بسيناريو صارم، فلـ DialFork ثلاثة استخدامات عملية.

الأول: تشغيل نظامك على 24 مهمة من 12 مجالًا للحصول على تقدير للانجراف، وهو ما لا تقدمه المقاييس التي تقيّم كل رد على حدة. الثاني: استخدام FlowKL في المراقبة. يمكن مقارنة توزيع الحوارات الحية بالتوزيع المرجعي، ورصد الانزياح قبل أن يشتكي المستخدمون. الثالث: استخدام مهمة التنبؤ بالدور لتدريب ضوابط الحماية (guardrails) واختبارها، بحيث تقطع الحوار أو تعيد الوكيل إلى السيناريو عند أول انحراف، لا عند الانحراف العشرين.

مجموعة البيانات متاحة على Hugging Face ضمن منظمة DialFork، أما الشيفرة ولوحة الترتيب فمتاحتان في مستودع Idiap على GitHub. وتتيح رخصة MIT استخدام المواد في المشاريع التجارية. وفي الوقت الراهن المعيار بالإنجليزية فقط، لذا سيتعين على من يعملون بلغات أخرى إعادة تطبيق منهجية التفرّعات بأنفسهم. لكن الإجراء نفسه سهل التكرار: يلزم حوار سليم، وقيمة seed ثابتة، ونقطة تُعطى عندها للوكيل تعليمات جديدة.