تعطيل 729 رأس انتباه في GPT-2-XL خفّض الحفظ الحرفي بنسبة 91.5%

تستطيع نماذج اللغة إعادة إنتاج مقاطع من بيانات التدريب حرفياً، وهذا يعني خطر تسرّب معلومات شخصية ومطالبات تتعلق بحقوق النشر. وأظهر باحثون أن جزءاً من هذه المشكلة يمكن معالجته دون ضبط إضافي: يكفي تصفير رؤوس الانتباه «الزائدة» قبل الاستدلال. ففي GPT-2-XL (1.5 مليار معامل) خفّض تعطيل 729 رأساً من هذا النوع عدد التسلسلات المُعاد إنتاجها حرفياً بنسبة 91.5%، فيما تحسّنت الحيرة (perplexity) على WikiText-103 بمقدار 0.92.

أي الرؤوس عُطّلت وكيف جرى العثور عليها

تستند الفكرة إلى ملاحظتين. تقول الدراسات النظرية إن الانتباه متعدد الرؤوس يعمل كذاكرة ترابطية تزداد سعتها مع زيادة عدد الرؤوس. وأظهرت الدراسات التجريبية منذ وقت طويل أن حصة كبيرة من الرؤوس يمكن إيقافها دون خسارة تُذكر في الجودة. لكن أحداً لم يحاول الربط بين الأمرين.

يجمّد المؤلفون جميع الأوزان ويدرّبون أقنعة ثنائية فقط على مخرجات الرؤوس. القناع دالة خطوة، ولذلك تمر التدرجات عبر تقريب سيغمويدي (straight-through estimator). ويمنع حد العقوبة في دالة الخسارة ارتفاع الحيرة فوق عتبة محددة، ويكافئ في الوقت نفسه انخفاض عدد الرؤوس النشطة. استُخدم المُحسِّن AdamW، بدفعات من 8 تسلسلات، على مدى 1000 خطوة. ولا يُعتمد التكوين الأخير، بل التكوين الذي سُجّلت فيه أدنى نسبة بين الحيرة والحيرة الأصلية. وتُختار الأقنعة على جزء منفصل من WikiText-103 أو LAMBADA (مجموعة بيانات لتخمين الكلمة الأخيرة في الفقرة)، لا يتقاطع مع جزء التقييم.

وجرى تحديد الحفظ عبر k-extractability: إذا أُعطي النموذج بداية تسلسل، فإنه يُخرج بالفك الجشع (greedy decoding) الاستمرار كلمة بكلمة. وأُجريت الاختبارات على GPT-2-XL مع مدونة OpenWebText، وعلى Pythia-2.8B وPythia-6.9B (كلتاهما Deduped) مع مدونة Pile-Deduped.

ماذا أظهرت الأرقام

في GPT-2-XL عطّلت الأقنعة المختارة عبر WikiText-103 نحو 61% من الرؤوس. وانخفضت الحيرة من 10.08 إلى 9.16، بينما تراجع عدد التسلسلات المحفوظة في أحد التكوينات من 5590 إلى 315. وتكرر المشهد نفسه في نموذجَي Pythia: الحيرة 7.56 → 7.32 و6.90 → 6.73، وانخفض الحفظ من 20 000 إلى 2875 و3500 تسلسل. وعبر جميع النماذج والمعيارين تراوح الانخفاض بين 44 و94%.

تعطّل الأقنعة المختارة عبر LAMBADA رؤوساً أقل، ولذلك يكون انخفاض الحفظ أضعف، لكن دقة توقع الكلمة الأخيرة تبقى كما هي أو ترتفع قليلاً. وتختلف مجموعات الرؤوس المحذوفة بين المعيارين والنماذج الثلاثة، لكن الأثر حاضر في كل الحالات. ويستنتج المؤلفون أن الحفظ موزّع على آلية الانتباه بأكملها، وليس مركّزاً في مجموعة ضيقة من الرؤوس.

ويبيّن تجربة الضبط أن المهم ليس عدد الرؤوس المعطّلة فحسب، بل أيضاً أي رؤوس بالتحديد. فعند التعطيل العشوائي للعدد نفسه، انخفض الحفظ أحياناً بدرجة أكبر (330 مقابل 473 تسلسلاً في GPT-2-XL في أحد التكوينات)، لكن النموذج انهار. فقد ارتفعت حيرة GPT-2-XL على WikiText-103 من 10.08 إلى 146.82، وفي Pythia من 7.56 إلى 18.30 ومن 6.90 إلى 17.20. وانخفضت دقة GPT-2-XL على LAMBADA من 0.6128 إلى 0.2014. فالنموذج المعطوب لا يعيد إنتاج أي شيء ببساطة، ولذلك لا يكفي عدّاد الحفظ وحده لتقييم الطريقة.

لماذا ينجح الأسلوب وأين نقاط ضعفه

أُجري التحليل الميكانيكي على Pythia-2.8B وGPT-2-XL. في التسلسلات المحفوظة تُشبِع الرؤوس دالة softmax في الغالب: يذهب الانتباه كله تقريباً إلى موضع واحد. إضافة إلى ذلك، كثيراً ما تشير رؤوس مختلفة إلى الموضع نفسه. وبعد التعطيل تتقلص هذه الفجوة بين النص المحفوظ وغير المحفوظ. وبلغ الفارق بين لوجيت أفضل رمز والرمز الثاني في التسلسلات المحفوظة 8.79 و7.68، أي أعلى بنحو أربعة أضعاف مما هو عليه في النص العادي. وبعد التعطيل انخفض إلى 3.60 و3.86، ولم يتغير تقريباً في النص غير المحفوظ. وهذا يعني أن ما تأثر هو آلية الثقة المفرطة تحديداً، وليس ثقة النموذج عموماً.

ويذكر المؤلفون القيود بأنفسهم. فالجزء الميكانيكي ارتباطي: تُظهر البيانات أن الإشباع وتوافق الرؤوس والثقة تتغير معاً، لكن السببية لم تثبت. ويُجرى قياس التوافق على مجموعة الرؤوس المُشبِعة، وهي تتقلص بعد التعطيل، ولذلك قد يكون جزء من الأثر ناتجاً عن هذا الأمر. كما لم يُتحقق من سبب «اتساع» نظر الرؤوس المتبقية. ولا يشمل التحليل Pythia-6.9B بسبب نقص القدرة الحاسوبية.

وهناك قيد منهجي أيضاً. فقد قيست الجودة على المعيار نفسه الذي جرى البحث فيه عن الرؤوس الزائدة، وإن كان ذلك على عينة منفصلة. أما سلوك النموذج المقلَّم في مهام أخرى فلم يُختبر في الدراسة. وتقتصر التجارب على ثلاثة نماذج صغيرة من الفترة 2020–2023، وقد تختلف النتيجة في نماذج LLM الحديثة ذات الانتباه المجمّع. ويعد المؤلفون بنشر الكود بعد قبول الورقة.

أما الخلاصة للممارسين: فقد توفرت للفرق التي تشغّل النموذج في بيئة الإنتاج وتخشى تسرّب بيانات التدريب أداة رخيصة لا تتطلب إعادة تدريب. لكنها تقلل احتمال إعادة الإنتاج الحرفي ولا تضمن الخصوصية، وينبغي اختبار النموذج على المهام الخاصة بالفريق قبل اعتمادها.