Nullify يمحو المعرفة من نماذج LLM دون إعادة تدريب: متجهات في الفضاء الصفري (null-space)

نشر فريق من الباحثين على arXiv نسخة أولية من ورقة Nullify، وهي طريقة لإزالة التعلّم (unlearning) من النماذج اللغوية الكبيرة لا تحتاج إلى خطوة إعادة تدريب واحدة. فبدلاً من تعديل الأوزان، تضيف الطريقة متجهات توجيه (steering) إلى التنشيطات أثناء الاستدلال، وتُبعد التمثيلات الداخلية للاستعلامات الخاصة عن الإجابات المحفوظة. ووفقاً لنتائج معيارَي TOFU وMUSE، لا تقل جودة النسيان في Nullify عن الطرق الراسخة، بينما تبقى فائدة النموذج شبه سليمة. صدرت النسخة الأولية في 9 أكتوبر 2026 ضمن قسم cs.LG.

المشكلة: النسيان مكلف والفائدة العملية هشة

تمتص نماذج LLM أثناء التدريب المسبق بيانات شخصية ونصوصاً مغلقة ومعلومات حساسة أخرى، ولا مفر من ذلك. ومن المفترض أن تمحو عملية إزالة التعلّم (unlearning) هذه المعارف بشكل انتقائي، كي لا يكشفها النموذج عند السؤال عنها. إعادة التدريب الكاملة دون البيانات الإشكالية مكلفة للغاية، لذلك يلجأ الممارسون عملياً إلى إعادة التدريب مع تعديل الأوزان. ولهذا النهج عيبان معروفان: فهو يتطلب موارد حسابية وبيانات، كما أنه يُلحق الضرر بسهولة بالقدرات المجاورة؛ فما إن «ينسى» النموذج مؤلفاً واحداً حتى يبدأ بالخلط في الأسئلة القريبة منه. ويصف مؤلفو Nullify التوازن بين جودة النسيان والفائدة العملية صراحةً بأنه عنق الزجاجة الرئيسي في الطرق الحالية.

كيف تعمل Nullify

تقوم الفكرة على activation steering. فأثناء الاستدلال يُضاف إلى التنشيطات المخفية متجه مختار بعناية. يُزيح هذا المتجه تمثيل الاستعلام المرتبط بمعلومات خاصة، بحيث لا يصل النموذج إلى الإجابة المحفوظة. أما الأوزان نفسها فتبقى دون مساس.

والتفصيل الجوهري هنا هو قيد null-space. يُبنى المتجه بحيث لا تتغير عملياً، بحسب وصف المؤلفين، تنشيطات الاستعلامات التي ينبغي للنموذج أن يواصل معالجتها كالمعتاد (retained queries). بعبارة أخرى، يُوجَّه الإزاحة نحو فضاء جزئي لا تكاد الاستعلامات «المسموح بها» تشعر فيه بأي أثر. وهذه محاولة لحل المشكلة الأساسية في أي steering: فالتدخل في التنشيطات يطال عادةً كل شيء، لا المعرفة المستهدفة وحدها.

ماذا أظهر TOFU وMUSE

TOFU معيار قائم على ملفات تعريف اصطناعية لمؤلفين وهميين، ومعروف فيه أن النموذج لم يكن بإمكانه تعلّم المعلومات إلا من مجموعة بيانات محددة. أما MUSE فيقيّم إزالة التعلّم على مدوّنات حقيقية: أخبار وكتب. ويعطي المعياران معاً صورة عن سيناريوهات خاضعة للتحكم وأخرى قريبة من الواقع العملي.

أبرز ما ورد في الملخص:

• نوع الطريقة: training-free، دون تحديث الأوزان.
• الآلية: متجهات steering تُطبَّق أثناء الاستدلال.
• حماية الفائدة: قيد null-space للاستعلامات retained.
• جودة النسيان: بمستوى طرق baseline الراسخة أو أعلى منها.
• الحفاظ على utility: قريب من انعدام الخسارة.
• صيغة الاعتماد: طبقة plug-and-play فوق نموذج جاهز.

لا يورد الملخص أرقاماً محددة، ولذلك سيتعين التحقق من حجم التفوق على نهج baseline عبر الجداول في النسخة الكاملة من الورقة.

أين يمكن تطبيقها وأين العيب

يبدو هذا النهج مناسباً للفرق التي تشغّل LLM في بيئة الإنتاج وتتلقى طلبات حذف البيانات. فلا حاجة إلى تشغيل إعادة التدريب على GPU مع كل طلب، ولا إلى حفظ عدة نسخ من الأوزان، ويمكن تفعيل مجموعة المتجهات وإيقافها كما تُدار الإعدادات. وهذا مهم خصوصاً في المهام القانونية مثل الحق في النسيان، حيث تلزم استجابة سريعة.

غير أن هناك أسئلة لا يجيب عنها الملخص، ويستحسن فحصها قبل الاعتماد. أولاً، لا تزال المعرفة موجودة في الأوزان. فما يحدث هو إعادة توجيه للإجابة لا حذف فعلي، ويستطيع من يملك حق الوصول إلى النموذج إزالة هذا التدخل. ومع الأوزان المفتوحة تصبح الحماية عملياً شكلية. ثانياً، ليس واضحاً مدى الصمود أمام إعادة الصياغة والأسئلة متعددة الخطوات والهجمات الموجّهة لاستخراج البيانات. ثالثاً، ينبغي النظر في كيفية تزايد عدد المتجهات مع تعدد طلبات الحذف، وفيما إذا كانت الآثار الجانبية تتراكم.

الخلاصة: ينبغي النظر إلى Nullify بوصفها طبقة حماية سريعة لعمليات نشر API المغلقة، لا بديلاً عن إزالة التعلّم الحقيقية. وإذا أكدت اختبارات مستقلة هذه النتائج، فستسد الطريقة فجوة ملحوظة بين إعادة التدريب المكلفة والمرشحات الفجّة على المخرجات.