لاحقة واحدة تكسر أي نموذج لغوي كبير: باحثون يكتشفون متجه رفض موحدًا

أظهر باحثون أنه رغم التنوع الظاهري في الهجمات المعادية (adversarial) على النماذج اللغوية، فإنها جميعًا تستغل نقطة الضعف البنيوية نفسها: «متجه رفض» واحد في فضاء التنشيطات. ويمكن للاحقة واحدة جرى اختيارها بعناية أن تفتح أي نموذج، حتى لو لم يسبق للهجوم أن رآه.

هجومان ونقطة ضعف واحدة

أشهر طرق تجاوز حماية نماذج LLM، وهما GCG (Greedy Coordinate Gradient) وAutoDAN، تقومان على مبدأين مختلفين تمامًا. يضيف GCG إلى الطلب الضار لاحقة من رموز (tokens) جرى تحسينها عشوائيًا. تبدو هذه اللاحقة في الظاهر كلامًا غير مفهوم، لكنها اختيرت عبر الانحدار التدريجي (gradient descent) بحيث يميل النموذج إلى تنفيذ الطلب. أما AutoDAN فيعمل بطريقة مختلفة، إذ يولّد نصًا إضافيًا مقروءًا وسليمًا نحويًا عبر بحث تطوري أو بمساعدة نموذج لغوي مساعد. فهو ضوضاء في مقابل معنى، وفوضى رموز في مقابل نثر مترابط.

ومع ذلك، يؤدي الأسلوبان في الجوهر الفعل نفسه وفي الموضع نفسه.

• يحسّن GCG الرموز مباشرة عبر تدرج دالة الخسارة
• يستخدم AutoDAN بحثًا تطوريًا أو نموذج LLM مساعدًا للتوليد
• كلاهما يضيف لاحقة إلى الطلب الضار الأصلي
• كلاهما ينتقل بالقدر نفسه إلى نماذج لم يرها الهجوم

ما هو refusal direction

عندما يرفض نموذج لغوي طلبًا ضارًا، فإن ذلك لا يعود إلى عمل منظومة معقدة متشعبة من المرشحات الموضوعية. ففي فضاء التنشيطات الداخلية للنموذج يوجد متجه واحد هو «اتجاه الرفض» (refusal direction). حين تُسقَط تمثيلات الطلب على امتداد هذا المتجه، يرفض النموذج. وحين تدفع التنشيطات في الاتجاه المعاكس، ينفذ النموذج الطلب.

ومن المهم إدراك أن الحديث هنا ليس عن استعارة، بل عن كائن رياضي محدد. يعثر الباحثون عليه بطريقة فرق متوسطات التنشيطات: يقارنون كيف يمثّل النموذج الطلب «العادي» والطلب «الضار»، وفرق هذين المتوسطين هو بالضبط refusal direction. ولم يُنشئ التدريب بالتغذية الراجعة من التفضيلات البشرية (RLHF) على مدى سنوات حماية متعددة الطبقات، بل ركّز كل «إرادة الرفض» على محور هندسي واحد في فضاء التنشيطات. وكون هجمات مستقلة مختلفة طورتها فرق مختلفة قد وجدت في النهاية الكائن نفسه يدل بحد ذاته على أن الظاهرة بنيوية.

«صمود الأمان كله معلّق بمتجه واحد. هذا ليس خللًا في تنفيذ بعينه، بل

خاصية بنيوية في طريقة عمل المواءمة عبر RLHF».

لماذا عمومية الهجمات ليست مصادفة

إذا أزاحت لاحقة ما التنشيطات بعيدًا عن refusal direction، فإنها تعمل ضد أي نموذج ذي تدريب مشابه، حتى لو لم يره المهاجم قط. وهذا يفسر ظاهرة لوحظت منذ فترة طويلة: اللواحق التي جرى العثور عليها على نماذج مفتوحة (Llama وMistral) تتجاوز أنظمة تجارية مغلقة. وقد عملت لواحق GPT-3.5 ضد GPT-4. والسبب ليس تسرب الأوزان ولا تطابق البيانات، بل أن جميع نماذج RLHF الحديثة ترمّز الرفض في كائن هندسي متشابه.

• لا يحتاج المهاجم إلى وصول مباشر إلى النموذج المستهدف، فيكفي أي نموذج وسيط ذي تدريب مشابه
• قد تكون اللاحقة ضوضاء غير مقروءة أو نصًا مترابطًا، وكلا الخيارين يصيب النقطة نفسها
• الهجمات العلنية على النماذج المفتوحة تتحول تلقائيًا إلى تهديد للأنظمة المملوكة

ماذا يعني ذلك

إذا كانت الحماية من المخرجات الضارة كلها تعتمد على كائن هندسي واحد في الفضاء الكامن، يبرز السؤال: هل يكفي «ترقيع» هذا المتجه أثناء إعادة التدريب، أم أن الأمر يتطلب بنية تدريب مختلفة جذريًا؟ يقترح بعض الباحثين إزالة هذا الاتجاه جراحيًا من النموذج في مرحلة الاستدلال (inference)، لكن ذلك يضعف الجودة العامة.

إن التقاء هجمات مستقلة من أنواع مختلفة عند refusal direction يشير إلى خاصية بنيوية في نماذج LLM الحديثة. وهذه حدود معرفية لم تجد فيها سلامة الذكاء الاصطناعي إجابة بعد.