مؤلفو ورقة على arXiv يطالبون باستبدال «الحقيقة» الواحدة في الوسم بفضاء من التفسيرات

نُشرت على arXiv (cs.AI، الرقم 2610.10805، النسخة v1) ورقة موقف (position paper) تطعن في الافتراض الأساسي الذي يقوم عليه معظم تعلّم الآلة: أن لكل مثال إجابة صحيحة واحدة. يقترح المؤلفون نمذجة «فضاء التفسيرات»، أي مجموعة الأحكام البشرية المعقولة بشأن المُدخل نفسه. وفي الوقت نفسه يريدون الفصل بين الغموض ذي المعنى وضجيج الوسم المعتاد. ويرون أن إعادة البناء يجب أن تشمل خمس مراحل من دورة حياة النظام: التمثيل والتدريب والتقييم والنشر والإدارة.

لا بد من تنبيه مسبق: هذا عمل مفاهيمي. لا يتضمن الملخص نموذجًا جديدًا ولا اختبارًا مرجعيًا (benchmark) ولا نتائج تجارب. تكمن قيمة النص في طرح المشكلة، وبهذا المعيار ينبغي الحكم عليه.

أين تنهار «الحقيقة الواحدة»

يبدو المسار المعتاد على النحو التالي. يضع عدة أشخاص وسمًا للمثال نفسه. ثم تُجمع الإجابات بالتصويت أو بحساب المتوسط، ويُفحص اتفاق واسمي البيانات بمقاييس مثل كابا كوهين أو ألفا كريبندورف. ويُعدّ الاتفاق المنخفض علامة على تعليمات سيئة أو على منفذين غير جادين. أما التباينات فتُحذف أو تُعامَل بوصفها ضجيجًا.

يصلح هذا للمهام ذات الإجابة الموضوعية. لكن حين يقيّم النظام سُمّية عبارة، أو انفعالًا على وجه، أو ملاءمة رد روبوت دردشة، أو نبرة رسالة، يرى الناس أشياء مختلفة، وقد يكون كلٌّ منهم محقًا بطريقته. هذه الأمثلة وردت للتوضيح ولم يذكرها الملخص صراحةً. وحجة المؤلفين أنه إذا اختُزل كل شيء في هدف (target) واحد، ضاعت المعلومات عن تنوّع الإدراك والأحكام والخبرات الحياتية. والأنظمة لا تتفاعل مع الناس فحسب، بل تتخذ قرارات بشأنهم بوتيرة متزايدة. والنموذج الذي تبنّى موقف أغلبية واسمي البيانات بوصفه «الحقيقة» سيعمّم هذا الموقف على جميع المستخدمين.

ما الذي يقترحه المؤلفون

الفكرة المحورية: أن يتنبأ النظام بتوزيع للأحكام المعقولة ويخزّنه، بدلًا من وسم واحد. أما بقية ما في الملخص فصيغ على هيئة إطار يشمل دورة الحياة كلها. تنقل القائمة التالية الإطار بمعناه، ولم يكشف الملخص تفاصيل الأساليب:

• التمثيل. تُوصف البيانات والمتغيرات المستهدفة بوصفها مجموعة من التفسيرات المقبولة، لا وسمًا وحيدًا.
• التدريب. يتعلّم النموذج من تنوّع الأحكام، لا من حاصل تجميعها.
• التقييم. تُقاس الجودة بمدى قدرة النظام على إعادة إنتاج طيف التفسيرات، لا بمطابقة مرجع واحد.
• النشر. يجب أن يراعي النظام أن عددًا من المُدخلات يقبل أكثر من إجابة واحدة.
• الإدارة. يصبح سؤال «حقيقةُ مَن هي المودعة في النموذج» موضوعًا للحوكمة (governance).

أصعب ما في هذا البرنامج هو التمييز بين الغموض ذي المعنى والضجيج. فإذا عُدّ أي تباين غموضًا، أمكن تقديم الوسم المهمل على أنه «تنوّع في الآراء». وإذا عُدّ أي تباين ضجيجًا، عدنا إلى النهج الحالي. أما كيفية رسم هذا الحد فلا يقول الملخص شيئًا عنها. ويبدو من صيغة «ندعو إلى تحوّل» أن هذا اتجاه لأعمال مقبلة.

ما الذي ينبغي تغييره في الممارسة

حتى من دون أساليب جديدة، تُستخلص من الورقة أمور عدة تستطيع الفرق تنفيذها الآن:

• حفظ التعليقات الفردية الخام، لا الوسم المجمَّع وحده. فلا يمكن استعادة التباين المفقود لاحقًا.
• تقسيم المهام إلى ما تكون إجابته موضوعية وما تتوقف إجابته على التفسير. وفي النوع الثاني قد يكون الاتفاق المنخفض بين واسمي البيانات إشارة مفيدة، لا عيبًا.
• النظر إلى توزيع الإجابات عند تقييم النموذج. فالدقة وفق أغلبية الأصوات تُخفي الفئات التي يخطئ معها النموذج بصورة منهجية.
• توثيق من وسم البيانات: من أي مجموعات، وبأي تعليمات، وبأي مستوى من الاتفاق. ومن دون ذلك يبقى سؤال «حقيقةُ مَن» بلا جواب.
• البدء بمهمة واحدة، مثل إدارة المحتوى أو تقييم ردود المساعد، ومقارنة سلوك النموذج عند التدريب على وسوم مجمَّعة ووسوم غير مجمَّعة.

أما الشركات التي تتخذ منتجاتها قرارات بشأن الناس، فالمسألة عندها لا تخص الجودة وحدها، بل المسؤولية أيضًا: فمدقق الحسابات أو الجهة التنظيمية سيسأل عاجلًا أم آجلًا لماذا يرى النموذج هذه الإجابة بالذات هي الصحيحة.