باحثون يثبتون سبب جعل التدريب العدائي خرائط البروز متناثرة

تبدو خرائط البروز المبنية على التدرج أنظف بوضوح في الشبكات التي خضعت للتدريب العدائي: فبدلًا من بقعة مشوَّشة، تبقى بضعة بكسلات ساطعة فقط. وقد لوحظ هذا النمط تجريبيًا، لكن لم يكن له تفسير مقنع. ويقدّم الإصدار الأولي arXiv:2610.10666 برهانًا صارمًا لشبكات ReLU ذات الطبقتين: ينشأ التناثر من هندسة هجمات ℓ∞، وهي هندسة تجعل النموذج يفضّل التدرجات المحاذية لمحاور الإحداثيات.

من أين ينشأ التناثر

تنطلق الورقة من نتيجة معروفة. فبالنسبة لعدد من دوال الخسارة، يكافئ التدريب العدائي تقليل المخاطر التجريبية المعتادة مع إضافتين: عقوبة weight decay وحدّ adversarial total variation. ويعاقب الحد الثاني النموذج، في جوهره، على شدّة انحدار الدالة، لكنه يراعي في ذلك المعيار الذي يقيّد الهجوم.

ثم تأتي الخطوة الأساسية. في هجوم ℓ∞ يقع الاضطراب داخل مكعب، ويتحدد أسوأ سيناريو في التقريب الأول بمعيار ℓ1 للتدرج، أي المعيار الثنائي لـ ℓ∞. هذا تفسيري الشخصي وليس اقتباسًا من الورقة، لكنه ينسجم جيدًا مع استنتاج المؤلفين: عقوبة من هذا النوع تعمل على نحو يشبه LASSO وتفضّل التدرجات التي تحتوي على عدد قليل من المكوّنات غير الصفرية. ويصوغ المؤلفون ذلك على أنه لا تناحٍ (أنيزوتروبية) في معيار التدرج: فالاتجاهات الموازية للمحاور «أرخص» من الاتجاهات القطرية.

ما الذي أُثبت بالضبط

المبرهنة مقاربة (asymptotic). يزداد عدد نقاط البيانات وعدد الخلايا العصبية، وتتجه معاملات التنظيم في الوقت نفسه إلى الصفر بمعدل مناسب. وفي النهاية تتقارب الحلول المُصغِّرة إلى المصنِّف البايزي، الذي يُختار من بين جميع المصنِّفات المناسبة بحسب أدنى معيار للتدرج وأدنى معيار لبارون. ويقيس معيار بارون تعقيد الدالة التي تستطيع شبكة ذات طبقتين تقريبها، ولذلك يختار هذا الشرط في جوهره أبسط حل في الفئة.

العناصر الرئيسة للنتيجة:

• المعمارية: شبكات ذات طبقتين بدوال ReLU؛
• التدريب: عدائي، والهجمات مقيَّدة بمعيار ℓ∞؛
• النهاية: نمو العينة وعرض الشبكة، وتناقص التنظيم إلى الصفر؛
• محصلة التقارب: مصنِّف بايزي بأدنى معيار للتدرج وأدنى معيار لبارون؛
• النتيجة المترتبة: اللاتناحي في معيار التدرج يعطي تدرجات متناثرة ومحاذية للمحاور.

والجزء التجريبي أكثر تواضعًا من الجزء النظري. يقارن المؤلفون بين النماذج المدرَّبة بالطريقة الطبيعية والمدرَّبة عدائيًا من حيث معيار ℓ1 للتدرج ودرجة التناثر بعد تطبيق عتبة. ولا ترد أرقام محددة في الملخص، لذلك ينبغي الرجوع إلى النص الكامل لمعرفة حجم الأثر.

أين حدود قابلية التطبيق

ثمة عدة قيود، وهي جوهرية. فشبكة ReLU ذات الطبقتين بعيدة عن الشبكات الالتفافية الحديثة ومحوّلات الرؤية. وشرط دوال الخسارة يضيّق النطاق الذي يصح فيه التكافؤ. كما أن المقاربة بالنسبة للبيانات والعرض لا تضمن السلوك على عينات منتهية. وأخيرًا، هذا إصدار أولي لم تراجعه لجان تحكيم.

وهناك تحفّظ مفاهيمي أيضًا. تبدو خريطة البروز المتناثرة مقنعة، لكن ذلك لا يعني أنها تعكس منطق النموذج بدقة أكبر. فقد تكون الشبكة تخلّت ببساطة عن جزء من السمات طلبًا للمتانة، وعندئذ تعكس «نظافة» الخريطة فقدانًا للمعلومات وليس وضوحًا في التفسير.

ما الذي ينبغي اختباره عمليًا

إذا كنتم تستخدمون خرائط البروز المعتمدة على التدرج لتدقيق النماذج، فقارنوها مع مراعاة طريقة التدريب. فمقارنة خرائط النموذج الطبيعي والنموذج المتين بحسب «الترتيب» البصري مضلِّلة: إذ يتحدد جزء من الأثر بمعيار الهجوم. والاختبار البسيط هو حساب معيار ℓ1 للتدرج ونسبة المكوّنات التي تتجاوز العتبة، كما يفعل المؤلفون، ثم مقارنة النموذجين على المدخلات نفسها. أما في هجمات ℓ2 فينبغي توقّع هندسة مختلفة، ولا يجوز نقل الاستنتاج المتعلق بالمحاور إليها. ولأغراض النشر الآمن يفيد استكمال خرائط التدرج بأساليب لا تعتمد على معيار واحد، مثل اختبارات التبديل وحذف السمات.