LLM-Attacker يقارن الهجمات على split-LLM: التدرجات ترفع التسرب إلى 37,77%

قدّم باحثون LLM-Attacker، وهو إطار red-team موحّد لتقييم الخصوصية في النماذج اللغوية المجزّأة (split) والموزّعة. وأبرز رقم جاء من تجربة ضبط على GPT-2: حين مُنح المهاجم التدرجات التي تُعاد من الخادم أثناء التدريب، ارتفعت نسبة الرموز (tokens) المستعادة من 94,20% إلى 97,38%. أما الاستعادة الدقيقة للمستندات كاملة فقفزت من 13,71% إلى 37,77%، أي نحو ثلاثة أضعاف تقريبًا.

لماذا لا يمكن مقارنة نتائج الهجمات على split-LLM

في مخطط split يبقى النص على جهاز العميل، وتُرسل إلى الخادم تمثيلات وسيطة، أي تنشيطات (activations) من إحدى الطبقات. الفكرة جذابة: يتولى الخادم حساب الجزء الثقيل من النموذج، بينما لا تغادر بيانات المستخدم الأصلية جهازه. لكن يمكن إعادة بناء النص من هذه التمثيلات، وقد ظهر عدد غير قليل من الهجمات التي تفعل ذلك.

المشكلة أن الأبحاث يصعب مقارنتها ببعضها. فأحد المهاجمين يرى رسائل معينة، وآخر يعرف أوزان النموذج، وثالث لا يعرفها. كذلك تختلف مجموعات البيانات، وتختلف مقاييس الاستعادة. وحين تعلن ورقة بحثية أن «حمايتنا تقلل التسرب»، لا يتضح ضد أي مهاجم، وعلى أي بيانات، ووفق أي مقياس جرى القياس.

ما الذي يسجّله الإطار وما الذي يتحقق منه

يحوّل LLM-Attacker هذه الافتراضات الضمنية إلى سجلات صريحة. فهو يثبّت نموذج التهديد، والرسائل المتاحة للمهاجم، والأوزان المعروفة، والمدوّنة (corpus)، وطريقة الاحتساب. وتعيد الهجمات المتوافقة استخدام الرسائل المسجّلة سلفًا، وتُحفظ تنبؤاتها وتُقيَّم بصورة مستقلة عمّن شغّل الهجوم.

وتوجد قاعدة صارمة للحمايات: لا يجوز إعلان النجاح إلا بوجود مرجع مرتبط بها دون حماية. فمن دون خط أساس لا يعني القول إن «الوضع تحسّن» شيئًا. وإضافة إلى ذلك، يُدرج التقرير النهائي في قائمة منفصلة الهجمات التي لم تُشغَّل. وهكذا لم يعد غياب التسرب في السيناريوهات المفحوصة يبدو كأنه غياب للتسرب مطلقًا.

ويفصل المؤلفون كذلك بين نوعين من الادعاءات: التحقق من صحة التنفيذ، وفعالية الهجوم المقيسة. الأول يبيّن أن الشيفرة تفعل ما صُمّمت له، والثاني يبيّن مدى خطورة الهجوم.

تجربة GPT-2: ماذا يمنح الوصول إلى التدرجات

اختبرت تجربة الضبط كيف يستجيب التقييم لتغيّر صلاحيات المهاجم. النتائج:

• استعادة الرموز (tokens): 94,20% → 97,38% عند إضافة التدرجات؛
• الاستعادة الدقيقة للمستند: 13,71% → 37,77%؛
• حُدِّدت عتبة الأثر عند نقطتين مئويتين قبل بدء الاختبارات؛
• فترة الثقة 95% للزيادة في الرموز تقع بكاملها فوق هذه العتبة.

هذه التجربة منفصلة عن البحث المرافق. وداخل LLM-Attacker تعمل كاختبار حساسية: إذا وُسّعت صلاحيات المهاجم، فيجب أن يلتقط القياس ذلك، وقد التقطه. والملفت أن الزيادة في الرموز تبدو متواضعة (نحو ثلاث نقاط)، بينما هي ضخمة في المستندات كاملة. فالمقياس المتوسط يخفي الذيل الذي يكمن فيه خطر الكشف الفعلي.

وتقيّم دراسات إضافية ضمن الإطار تأثير اختيار المدوّنة والحمايات القائمة على الضغط في الاستعادة. كما يُقارَن الهجوم المنشور بعد تكييفه بتنفيذه المرجعي، ويُختبر كود القياس نفسه على حدة.

كيف تبني الفحص في مؤسستك

بالنسبة إلى الفرق التي تبني استدلال split (split-inference) والتدريب الموزّع أو تشتريهما، الخلاصة عملية. يجب أن يحدّد أي ادعاء بشأن الخصوصية المهاجم ومجموعة البيانات وقاعدة الاحتساب، وأن يعرض تشغيلات الضبط، وأن يذكر ما بقي دون اختبار.

وعند التقييم، ينبغي تشغيل الهجمات في نمطي وصول على الأقل: بالرسائل المباشرة فقط، وبالتدرجات إذا كانت تُعاد إلى الخادم. ولا يكفي النظر إلى نسبة الرموز، بل يجب أيضًا قياس الاستعادة الدقيقة للمستندات، لأن هذا المقياس هو الذي ارتفع أكثر من غيره. وأي حماية، سواء كانت ضغطًا أو ضجيجًا، ينبغي مقارنتها بالنسخة الخالية منها على البيانات نفسها. وعند اختيار المورّد، من المفيد أن تطلب تقريرًا بهذه الصيغة تحديدًا، لأن التقرير الذي يخلو من قائمة الهجمات غير المُختبَرة لا يعرض سوى جزء من الصورة.