GUISE: الغلاف السردي يخترق حماية Qwen3-1.7B في 89–96% من الحالات

نشر باحثون على arXiv دراسة عن كيفية تجاوز الغلاف السردي للطلب لحماية النماذج اللغوية. فالنموذج يرفض الطلب الضار إذا طُرح مباشرة، لكنه كثيرًا ما ينفّذه إذا قُدِّم في صورة لعبة أدوار أو حبكة قصصية. على Qwen3-1.7B تبلغ نسبة الهجمات الناجحة 89,4% بالإنجليزية، و93,0% بالصينية الحديثة، وتصل إلى 95,7% بالصينية الكلاسيكية (وينيان). ولقياس ذلك بنى المؤلفون بنشمارك GUISE، واقترحوا طريقة الحماية AXIS.

ما الذي يتضمنه GUISE

صُمّم البنشمارك لتفادي نقاط الضعف المعتادة في الاختبارات المماثلة. فالطلبات متوازية بثلاثة أشكال لغوية: الإنجليزية، والصينية الحديثة، والصينية الكلاسيكية. وهذا يتيح فصل تأثير اللغة والمستوى اللغوي عن تأثير الغلاف نفسه. ولكل طلب ضار نظير غير ضار، ما يسمح بالتحقق من أن النموذج لم يبدأ برفض كل الطلبات بلا تمييز.

وثمة قراران آخران مهمان من الناحية المنهجية. أولًا، استُبعدت من تدريب طريقة الحماية أنواع الأغلفة التي يُقيَّم عليها النموذج. ويُظهر الاختبار بذلك ما إذا كانت الحماية تنتقل إلى أشكال هجوم غير مألوفة، لا ما إذا كانت قد حفظت قوالب بعينها. ثانيًا، معيار نجاح الهجوم أشد صرامة من المعتاد: فالإجابة بصيغة «حذّر ثم أعطى المطلوب على أي حال» تُعدّ فشلًا أيضًا. وتحتسب تقييمات كثيرة مثل هذه الإجابات آمنة، مع أن المستخدم يحصل فيها على ما طلبه بالضبط.

لماذا يتفوق تأثير الغلاف على تأثير اللغة

نظر المؤلفون داخل تمثيلات النموذج. ففي النماذج المحمية يوجد «اتجاه رفض» في فضاء التنشيطات: كلما اقترب تمثيل الطلب منه زاد احتمال الرفض. وأظهر التحليل أن تغيير اللغة والمستوى اللغوي يزيح تمثيلات الطلبات الضارة عن هذا الاتجاه إزاحة طفيفة فقط، أما الغلاف السردي فيبعدها بوضوح أكبر.

ومن ذلك نستخلص نتيجة عملية. الأرقام المرتفعة في الصينية الكلاسيكية لا تعني أن لغة نادرة تكسر الحماية بذاتها: فالنتيجة في الإنجليزية لا تقل عنها إلا بـ6,3 نقطة مئوية. والإسهام الرئيسي يعود إلى الإطار القصصي. فالمواءمة (alignment) المدرَّبة على صياغات مباشرة تعمّم بصورة ضعيفة على الطلبات التي تبدو في بنيتها مهمة إبداعية.

كيف تعمل AXIS

تجمع AXIS بين تحسين التفضيلات وهدفين إضافيين. الأول، rotation objective، يدوّر تمثيلات الطلبات الضارة نحو اتجاه الرفض، أي يعيد الطلب «المموَّه» إلى الموضع الذي يتعرف عليه النموذج عنده. والثاني، commitment objective، يعلّم النموذج الرفض الكامل بدلًا من إصدار تحذير يعقبه جواب. وهذا الهدف تحديدًا يستهدف نمط الإخفاق الذي يعدّه GUISE فشلًا.

اختُبرت الطريقة على ثلاثة نماذج. وبحسب المؤلفين، حققت AXIS على جميعها أفضل درجة إجمالية للأمان والفائدة بين الطرق المقارَنة.

• Qwen3-1.7B: نسبة نجاح الهجوم 89,4% (الإنجليزية)، 93,0% (الصينية الحديثة)، 95,7% (الصينية الكلاسيكية).
• النماذج المختبَرة: Qwen3-1.7B وQwen3-4B وGLM-4-9B.
• اللغات والمستويات اللغوية في GUISE: الإنجليزية، والصينية الحديثة، والصينية الكلاسيكية.
• المعيار: الإجابة التي تجمع «التحذير مع التنفيذ» تُعدّ نجاحًا للهجوم.
• التقييم على أغلفة لم تُستخدم في تدريب الحماية.

ماذا يعني ذلك عمليًا

يحصل الفرق التي تُجري تدريبًا إضافيًا على نماذج مفتوحة لمنتجاتها على قائمة تحقق واضحة. أولًا: اختبار حالات الرفض على طلبات بغلاف سردي، لا على الصياغات المباشرة وحدها. ثانيًا: احتساب الإجابات التي تجمع بين التحذير والتنفيذ فشلًا، وإلا ستكون مقاييس الأمان مضخَّمة. ثالثًا: تضمين الاختبار طلبات غير ضارة مقترنة بالطلبات الضارة، حتى لا يُشترى الأمان بثمن الإفراط في الرفض.

وهناك تحفظات. فهذه نسخة أولية (preprint)، ولا تعرض الخلاصة فيها نتائج إلا للنماذج الصغيرة والمتوسطة، من 1,7 إلى 9 مليارات معامل. أما سلوك الأنظمة المغلقة الكبيرة فلا تتناوله الدراسة. وتفاصيل الطرق المقارَنة والقيم المطلقة للدرجة الإجمالية تستلزم الرجوع إلى النص الكامل. لكن مخطط التقييم نفسه، بلغاته المتوازية وطلباته المزدوجة وأغلفته المحجوبة عن التدريب، يبدو قابلًا للنقل إلى نماذج ولغات أخرى.