Apple ML Research исследует причины расхождений разметчиков данных AI-безопасности

نشرت فريق أبل للأبحاث في مجال التعلم الآلي دراسة حول طبيعة الاختلافات بين المُحللين البشريين الذين يدربون نماذج الذكاء الاصطناعي على التمييز بين المحتوى الآمن والمحتوى الخطر. طور العلماء طريقة لتحديد مصادر الاختلاف بناءً على القابلية للتفسير — وأظهروا أن الأعراض المتطابقة تتطلب حلولاً مختلفة بشكل أساسي.

ما هي سياسة الأمان ولماذا تعتبر مهمة

سياسة الأمان عبارة عن مجموعة من القواعد الموحدة التي تحدد أي من ردود أنظمة الذكاء الاصطناعي تعتبر مقبولة وأيها لا تعتبر كذلك. وهي تحدد المبادئ التوجيهية لمطوري النماذج والمُحللين الذين يدربون البيانات: بناءً على هذه القواعد، يقوم آلاف الأشخاص بتصنيف الأمثلة، مكونين مجموعات بيانات للتدريب والتقييم.

المشكلة هي أن المُحللين غالباً ما يختلفون في الرأي — حتى عند العمل مع نفس وثيقة السياسة. بينما هذا ليس جديداً بحد ذاته، يطرح فريق أبل للأبحاث في مجال التعلم الآلي السؤال بطريقة مختلفة: لماذا بالضبط ينشأ الاختلاف — وماذا يجب أن نفعل حيال ذلك؟

لماذا لا يتفق المُحللون مع بعضهم البعض

يحدد مؤلفو الدراسة ثلاثة مصادر مختلفة بشكل أساسي للاختلاف في تحليل بيانات الأمان:

• الأخطاء التشغيلية — فهم المُحلل المهمة بشكل خاطئ، أو تجاهل تفاصيل في التعليمات، أو ارتكب خطأ تقنياً أثناء أداء العمل
• غموض السياسة — النص نفسه لقواعد الأمان يسمح بعدة تفسيرات شرعية متساوية؛ يتبع المُحللون تفسيرات مختلفة دون انتهاك أي قاعدة
• التعددية القيمية — يتمسك المُحللون المختلفون بصدق بآراء مختلفة حول ما يجب اعتباره محتوى ضاراً أو آمناً، بناءً على حدسهم الأخلاقي وخبرتهم الحياتية

يؤكد الباحثون: جميع الأسباب الثلاثة تتجلى ظاهرياً بنفس الطريقة — كاختلاف في التقييمات. التمييز بينها دون أدوات متخصصة صعب للغاية.

لماذا يحدد نوع الاختلاف الحل

كل واحد من الأسباب الثلاثة يتطلب رداً مختلفاً بشكل أساسي من فريق التطوير.

الأخطاء التشغيلية هي الحالة الأكثر قابلية للإدارة. يتم القضاء عليها من خلال مراقبة جودة معززة: تدريب إضافي للمُحللين، مهام التحقق، جلسات المعايرة مع التغذية الراجعة. إذا كانت الأخطاء منهجية، فهذا إشارة لإعادة النظر في الواجهة أو صيغة التعليمات.

غموض السياسة يتطلب العمل على الوثيقة نفسها: إعادة صياغة القواعد الغامضة، إضافة أمثلة محددة وحالات حدودية، تقليل المناطق الرمادية. هذه مهمة لمتخصصي السياسة وليس لفريق عمليات التحليل.

التعددية القيمية هي الحالة الأكثر صعوبة. قد يكون لدى المُحللين المختلفين حدس أخلاقي مختلف: قد يعتبر أحدهم المحتوى محايداً، والآخر قد يعتبره ضاراً بشكل محتمل، وكلاهما يتصرف بحسن نية ضمن السياسة. هذا الموقف يتطلب ليس تصحيح الأخطاء، بل نقاش جوهري حول القيم — حول وجهات النظر التي يجب أن تكون ممثلة في السياسة وكيفية موازنة المصالح المتنافسة.

كيف تساعد القابلية للتفسير على التمييز بين أحدهما والأخرى

هنا تطبق أبل طرق القابلية للتفسير — أدوات تسمح بتحليل أنماط صنع القرار. في سياق التحليل، هذا يعني التحليل الآلي للاختلافات: عندما لا يتفق مُحللان، يساعد النظام في تحديد ما إذا كان عدم التطابق ناتجاً عن خطأ أو قواعد غامضة أو اختلاف في التوجه القيمي.

"التمييز بين هذه المصادر مهم. الأخطاء التشغيلية تتطلب مراقبة جودة،

والغموض يتطلب توضيح السياسة، والتعددية تتطلب نقاشاً," يصرح المؤلفون.

يتيح هذا النهج ليس فقط تسجيل حقيقة الاختلاف، بل تشخيص طبيعته — وتوجيه الموارد إلى حيث تكون مطلوبة بالفعل.

ما يعنيه هذا

تصيغ أبحاث أبل تصنيفاً عملياً لصناعة بأكملها. تحدد جودة تحليل بيانات الأمان مباشرة مدى أمان النماذج الناتجة. يعد التمييز المنهجي لمصادر الاختلاف خطوة نحو عمليات أكثر موثوقية وشفافية لتقييم أنظمة الذكاء الاصطناعي.