منهج AXLE يستحضر خبرة المُعلِّقين قبل وسم خطاب الكراهية: 104 مشاركين و1040 تقييمًا

يُعدّ استبيان البيانات الديموغرافية الذي يملؤه المُعلِّق عند التوظيف الطريقة المعتادة لمراعاة موقفه. وتختبر ورقة جديدة على arXiv (cs.CL) ما إذا كان هذا الاستبيان يؤدي وظيفته أصلًا، وتقترح بديلًا باسم AXLE. في تجربة شملت 104 مُعلِّقين و30 مثالًا من خطاب الكراهية الملتبس و1040 تعليقًا توضيحيًا، رفعت المحادثة التمهيدية الحساسية تجاه الضرر، لكنها خفّضت الاتفاق بين المُعلِّقين بوضوح. ويعدّ المؤلفون ذلك هدفًا للمنهج.

مشكلة الاستبيان الثابت

تنطلق معالجة اللغة الطبيعية المنظورية من أن الوسم في المهام الذاتية يتوقف على موقف المُعلِّق. فالناس يقيّمون السمّية والإساءة والدلالات التمييزية الضمنية بطرق مختلفة، ولا يكون دائمًا من الإنصاف تجميع ذلك في إجابة «صحيحة» واحدة. غير أن الموقف يُسجَّل عمليًا مرة واحدة: العمر والجنس والدين وتجربة الهجرة. وتدخل هذه البيانات في مجموعة البيانات بوصفها متغيرًا مصاحبًا. ويقوم ذلك على افتراض أن المعرفة التي يرصدها الاستبيان حاضرة فعلًا في ذهن الشخص حين يقرأ مثالًا بعينه. ويصف المؤلفون هذا الافتراض بأنه مشكلة في التصميم، ويقترحون معالجتها على مستوى المهمة نفسها.

كيف يعمل AXLE

يضيف AXLE مرحلة تسبق الوسم. في البداية يُعرض على المُعلِّق سيناريو (فينييت) يحدد السياق. ثم يجري حوار قصير توجّهه «محاور»، أي أبعاد محددة مسبقًا للتجربة. من الإجابات يصوغ النظام سردًا مصغّرًا بضمير المتكلم، ويعيده إلى المُعلِّق قبل أن يرى أول مثال. فيقرأ الشخص بنفسه تجربته الخاصة وقد أُعيد تركيبها في نص متماسك، ولا ينتقل إلى الوسوم إلا بعد ذلك.

ماذا أظهرت التجربة

اعتمد التصميم نهج «بين المشاركين» بصيغة 2x2: 104 مشاركين و30 مثالًا و1040 تعليقًا توضيحيًا، أي بمتوسط 10 تقييمات لكل شخص. وشملت المادة خطاب كراهية ملتبسًا في ثلاثة موضوعات: الهجرة والدين والجندر. ويتحدث المؤلفون بحذر عن ارتباط، لا عن سببية مثبتة.

• التماهي مع المادة أعلى لدى المشاركين الذين مرّوا بمرحلة الاستنباط.
• الحساسية تجاه الضرر أعلى أيضًا.
• ارتفعت إنتروبيا الوسوم: تتوزع الإجابات على نطاق أوسع.
• انخفض الاتفاق بين المُعلِّقين.

تُقرأ النتيجتان الأخيرتان عادةً على أنهما تراجع في الجودة. لكن المؤلفين يفسّرونهما بشكل مختلف: فالمرحلة تُظهر التعددية ولا تصطنع إجماعًا. وبهذا يختلف AXLE عن تدريب المُعلِّقين، حيث معيار النجاح معاكس، أي تقارب التقييمات. وإذا كانت المهمة ملتبسة بطبيعتها، فإن التباين يحمل معلومات ولا يُعدّ ضجيجًا.

ما الذي ينبغي تغييره في خط أنابيب الوسم

بالنسبة إلى الفرق التي تجمع بيانات للإشراف على المحتوى وتدريب مصنِّفات السمّية، فالخلاصة عملية. إذا كان مقياس الجودة لديكم هو inter-annotator agreement فقط، فسيُظهر منهج AXLE «تدهورًا»، مع أن الوسم صار أقرب إلى التباين الحقيقي في الآراء. وقبل اعتماد هذه المرحلة، ينبغي أن تحددوا ما تريدونه: وسمًا موحدًا لقاعدة إشراف صارمة، أم توزيعًا للآراء لتدريب نماذج تراعي وجهات النظر المختلفة. وفي الحالة الثانية يجب حفظ الوسوم الخام وإنتروبياها، لا صوت الأغلبية وحده. أما نطاق الدراسة فمتواضع: 30 مثالًا وثلاثة موضوعات وصيغة واحدة للمهمة. لذلك يُستحسن اختبار المنهج أولًا على موادكم الخاصة وعلى فئة المُعلِّقين لديكم، قبل دمجه في خط الإنتاج.