تغيير تعريف «غير آمن» يحرّك تقييم أنظمة الحماية من 0 إلى 100 بتعديل 0,03% فقط من الأوزان

يُعتاد توصيف مصنفات الحماية (guardrails) كما لو أن «انعدام الأمان» خاصية متأصلة في النص نفسه. غير أن دراسة جديدة نُشرت ضمن أوراق Hugging Face Daily Papers تُثبت أن هذه الصفة تابعة لسياسة وضع العلامات وتصنيف البيانات (annotation policy). اعتمد الباحثون نحو 53 ألف مدخل جرى تصنيفها مرتين في تطبيق عملي صناعي، ودرّبوا بناءً عليها عشرة خيارات لنماذج حماية عبر مقياسين للحجم، ليحصلوا على تباين في الدرجات تراوح بين 0 و100 على المعيار المرجعي ذاته، رغم تطابق البنية المعمارية، وقاعدة الأكواد، وفئة المُحسِّنات عبر جميع الخيارات.

مجموعة بيانات واحدة، وسياستان

استفاد الباحثون من «أثر جانبي» مناسب في سياق عملية صناعية: حيث جرى تصنيف المدخلات نفسها وفق تعريفين إجرائيين؛ الأول: «هل هذا طلب لمحتوى ضار؟»، والثاني: «هل كان المشرف البشري سيحظر هذا المحتوى؟». ومن الناحية الشكلية، يصف كلا التعبيرين المهمة ذاتها، لكن الحدود الفاصلة بينهما تختلف كلياً في الممارسة العملية. وقد أتاح ذلك إجراء تجربة نقية تتغير فيها السياسة الممررة للنموذج عبر التصنيفات فقط دون سواها.

إجمالاً، جرى تدريب عشرة خيارات (arms) على حجمين من النماذج، أي عشرين نقطة فحص (checkpoints). وتتلخص الأرقام الرئيسية للدراسة في الآتي:

• وجود 88% من JailbreakBench-benign و82% من OR-Bench-hard مسبقاً ضمن مجموعات تدريب نماذج الحماية؛
• بلغ التباين بين الخيارات العشرة 0,99 على مقياس HarmBench-copyright و0,043 على WildGuard-benign، وهو ما يعكس فارقاً في الحساسية للتعريف يصل إلى 23 ضعفاً؛
• يغطي مقياس HarmBench-copyright كامل النطاق من 0 إلى 100، بينما يتراوح الرفض المفرط على OR-Bench-hard بين 3,4 و56,4%؛
• يمس هذا التحول 0,03% فقط من المعلمات (parameters)؛
• بلغ ارتباط الدقة على عينة التحقق المشتركة بالتوافق مع سياسة المصنِّف: rho=+0,74، مقابل ارتباطها بالقدرة الفعلية على الاكتشاف عند: rho=+0,34.

تلوث البيانات وحساسية المعايير المرجعية

تعد النتيجة الأولى إشكالية بحد ذاتها؛ فاختبارا الرفض المفرط، JailbreakBench-benign وOR-Bench-hard، وهما المعياران اللذان يُستشهد بهما تحديداً لإثبات أن نظام الحماية لا يحظر المدخلات السليمة، كانا موجودين بنسبة كبيرة داخل مجموعة بيانات تدريب نظام الحماية نفسه. وبناءً على ذلك، أجرى الباحثون كافة الحسابات المتبقية على بيانات مطهرة من التلوث.

أما النتيجة الثانية، فتتعلق ببنية المعايير المرجعية ذاتها. فعند تثبيت البنية المعمارية ومُحسِّن التدريب، تبيّن أن بعض الاختبارات تكاد لا تتأثر بالسياسة المختارة، بينما ترتبط اختبارات أخرى بها ارتباطاً شبه كلي. فتذبذب نتائج WildGuard-benign لم يتجاوز هامش 0,043، بينما بلغ في HarmBench-copyright نحو 0,99؛ مما يعني أن الاختبار الأول أقرب لقياس كفاءة النموذج، في حين يقيس الثاني أساساً التعريف الذي استوعبه النموذج لمفهوم «الضرر».

وتكشف النتيجة الثالثة أنه يكفي تعديل 0,03% فقط من المعلمات لدفع التقييم عبر النطاق بأكمله. فالخيارات الأربعة التي حملت إشارة تدريبها الأخيرة سياسة محددة استقرت عند طرف واحد لكلا المقياسين (اختبار الرتب الدقيق، p=0,005؛ وفي أسوأ الحالات بين 0,04 و0,14)، وكل ذلك دون أن يطرأ أي تغيير على القدرة الفعلية على الاكتشاف.

التقطير والتحقق

تترتب على ذلك تداعيات غير مرغوبة بالنسبة لنقاط الفحص المفتوحة (open checkpoints). ففي نموذج الطالب المقطَّر (distilled student model)، تنقل التصنيفات اللينة (soft labels) القادمة من نموذج المعلم سياسته، حتى وإن كانت جميع التصنيفات الصارمة (hard labels) تعكس سياسة مختلفة. ويتحول أصل نموذج المعلم بالتالي إلى عامل التباس غير موثق يؤثر على أي نقطة فحص منشورة؛ إذ قد يختلف نموذجان ينتميان إلى نفس اسم العائلة من حيث «السياسة» بدرجة تفوق اختلافهما في البنية المعمارية.

وينطبق الأمر ذاته على عملية التحقق (validation). فالدقة المقاسة على عينة تقسيم فردية تُقيّم الخيارات العشرين تعكس التوافق مع سياسة واضع البيانات (rho=+0,74) بدرجة تفوق بكثير قدرتها على تتبع رصد المحتوى الضار (rho=+0,34). وبالتالي، فإن تحقيق درجة مرتفعة لا يعني غالباً سوى التوافق مع التفضيل الشخصي للمصنِّف.

كيف تُقرأ تقارير أنظمة الحماية؟

يقترح الباحثون تضمين ثلاثة متغيرات إلزامية في أي تقرير تقييم: معدل تلوث البيانات، والحد الأدنى للضجيج العشوائي (seed floor)، والتعريف المعتمد في التقييم. ويعني هذا عملياً ما يلي: قبل المقارنة بين نظامي حماية، تحقق من السياسة الكامنة خلف تصنيف بيانات التدريب وبيانات المعيار المرجعي. ولا تثق بنتائج الرفض المفرط ما لم تطلع على نسبة التداخل مع بيانات التدريب؛ فإذا كان الفارق بين النماذج أقل من التباين الناتج عن اختلاف البذور العشوائية (seeds)، فهو ليس فارقاً حقيقياً.

كما يجب على الفرق التي تعتمد نقاط فحص خارجية أن تحدد النموذج المعلم وتختبر النموذج على حالات السياسة الخاصة بها قبل دمجه في أي منتج. ولا تزال هذه الورقة نسخة أولية (preprint) تتطلب التحقق من قابلية تكرار نتائجها على مجموعات بيانات أخرى، إلا أن استنتاجاتها تقدم نقاطاً عملية يمكن اختبارها فوراً في مسارات العمل البرمجية.