Activation Steering: دليل عملي للتحكم في النموذج اللغوي من الداخل باستخدام pytorch وnnsight

يشرح دليل منشور على «هابر» تقنية Activation Steering، وهي طريقة للتحكم في النموذج اللغوي دون إعادة تدريب. يقدّم الدليل ثلاثة أساليب مع شيفرة Python عملية، وعرضًا توضيحيًا يدفع النموذج عمدًا نحو إجابات سامة، لإظهار مدى الدقة التي يمكن أن يبلغها هذا التدخل.

ما هي تقنية Activation Steering

تتيح Activation Steering توجيه سلوك النموذج اللغوي دون تغيير أوزانه ودون إجراء fine-tuning. أثناء الاستدلال (inference)، يعترض الباحث التنشيطات الداخلية للشبكة العصبية عند الطبقة المطلوبة ويضيف إليها متجهًا اتجاهيًا. والنتيجة أن النموذج يبدأ بتوليد نص يتسم بالخاصية المحددة.

تستند الطريقة إلى أحد الاكتشافات الأساسية في مجال mechanistic interpretability: فضاء تنشيطات نماذج LLM منظَّم وليس عشوائيًا. فالمفاهيم المختلفة، مثل الغضب واللباقة والثقة وموضوع الحديث والانتماء إلى لغة معينة، مشفَّرة على هيئة اتجاهات خطية نسبيًا في هذا الفضاء متعدد الأبعاد. والعثور على المتجه المناسب يعني الحصول على رافعة تحكم مباشرة دون المساس بالأوزان.

يُستخرج steering-vector بالطريقة التبايُنية: تؤخذ أمثلة تحمل الخاصية المطلوبة وأخرى لا تحملها، وتُمرَّر المجموعتان عبر النموذج، ثم يُحسب الفرق بين متوسطي التنشيطات. ويُضاف المتجه الناتج إلى تنشيطات الطبقة المطلوبة مضروبًا في معامل تحجيم.

ثلاثة أساليب للتنفيذ

يتناول الدليل ثلاث أدوات بمستويات تجريد متصاعدة:

• pytorch-hooks — تعترض الدالة `register_forward_hook` موتر التنشيطات للطبقة المختارة، ويُضاف المتجه، ثم يُعاد الموتر المعدَّل إلى الرسم البياني للحوسبة. توفّر أقصى درجات التحكم بأقل قدر من الاعتماديات.
• nnsight — مكتبة ذات صياغة تصريحية. تُقرأ شيفرة التدخل فيها تقريبًا كأنها شيفرة وهمية مباشرة، ما يناسب التجارب في دفتر Jupyter.
• pyvene — إطار عمل عالي المستوى لـ causal interpretability. يدعم التجارب القابلة لإعادة الإنتاج، ويسهّل التنقل بين طبقات المحوّل (transformer).

يعتمد اختيار الأداة على المهمة: يناسب pytorch-hooks الحالات التي تتطلب تحكمًا كاملًا، وnnsight الشيفرة البحثية المقروءة، وpyvene التحليل السببي المنظَّم.

أين يُستخدم steering

يدفع العرض التوضيحي في الدليل النموذج نحو خطاب الكراهية (hate-speech). وقد اختير ذلك عمدًا رغم ما فيه من انزعاج، لأنه يثبت بوضوح أن التدخل ينجح. وفي الوقت نفسه، تُستخدم الأدوات ذاتها لاكتشاف السلوك غير المرغوب ولمعالجته أيضًا، فـ steering يعمل في الاتجاهين.

ومن مجالات الاستخدام العملية:

• أبحاث alignment: دراسة المفاهيم المشفَّرة في الشبكة العصبية ومدى قابليتها للفصل
• Safety red-teaming: اختبار إمكانية تنشيط السلوك غير المرغوب دون بيانات تدريب
• Interpretability: تحديد طبقات المحوّل المسؤولة عن خصائص دلالية بعينها
• التعديل دون fine-tuning: إزالة نمط معين أو تعزيزه عبر تدخل موضعي

ماذا يعني ذلك

قبل بضع سنوات، كانت Activation Steering أداة تقتصر على المختبرات الأكاديمية، إذ استخدمها باحثو Anthropic وDeepMind وEleutherAI في أعمال mechanistic interpretability. وقد خفّض ظهور nnsight وpyvene عتبة الدخول إلى مستوى شيفرة pytorch العادية.

ويُعدّ الدليل الناطق بالروسية على «هابر» حالة نادرة يحظى فيها موضوع متخصص كهذا بشرح جيد دون حاجز لغوي. أما بالنسبة إلى الفرق التي تعمل على سلامة النماذج اللغوية ومواءمتها (alignment)، فقد أصبح إتقان steering مهارة تطبيقية، لا تمرينًا أكاديميًا.