Activation Steering: دليل للتحكم في نموذج لغة من الداخل باستخدام PyTorch و nnsight

يشرح برنامج تعليمي من Habr تقنية Activation Steering — وهي طريقة للتحكم في نموذج لغة دون إعادة تدريب. ثلاث طرق، وكود Python حي، وتوضيح عملي: تحول متعمد للنموذج نحو إجابات سامة — لإظهار مدى دقة التدخل الممكنة.

ما هو Activation Steering

يتيح Activation Steering التحكم في سلوك نموذج لغة دون تغيير أوزانه أو تشغيل الضبط الدقيق. أثناء الاستدلال، يقوم الباحث بقطع التنشيطات الداخلية لشبكة عصبية على الطبقة المرغوبة ويضيف إليها متجهاً موجهاً. والنتيجة — يبدأ النموذج في توليد نص بالخاصية المحددة.

تعتمد الطريقة على أحد الاكتشافات الرئيسية في mechanistic interpretability: فضاء تنشيط نموذج LLM يتبين أنه منظم. يتم ترميز مفاهيم مختلفة — الغضب، والأدب، والثقة، وموضوع المحادثة، والانتماء اللغوي — كاتجاهات خطية نسبياً في هذا الفضاء متعدد الأبعاد. إيجاد المتجه الصحيح يعني الحصول على رافعة مباشرة للتحكم دون تغيير الأوزان.

يتم الحصول على متجه steering بالطريقة المقابلة: يتم أخذ أمثلة بالخاصية المرغوبة وبدونها، يتم تشغيل مجموعتي البيانات من خلال النموذج، يتم حساب الفرق بين متوسطات التنشيطات. يتم إضافة المتجه الناتج إلى تنشيطات الطبقة المرغوبة مع معامل قياس.

ثلاث طرق للتنفيذ

يفحص البرنامج التعليمي ثلاث أدوات بمستويات متزايدة من التجريد:

• pytorch-hooks — يقطع `register_forward_hook` موتر التنشيط من الطبقة المحددة، يتم إضافة المتجه، ويتم إرجاع الموتر المعدل إلى رسم بياني الحسابات. تحكم أقصى، اعتمادات دنيا.

• nnsight — مكتبة بصيغة إعلانية. يقرأ كود التدخل تقريباً مثل الشفرة الزائفة المباشرة — مناسب للتجارب في دفاتر Jupyter.

• pyvene — إطار عمل رفيع المستوى ل causal interpretability. يدعم التجارب القابلة للتكرار والتبديل السهل بين طبقات المحول.

يعتمد اختيار الأداة على المهمة: pytorch-hooks مناسب عندما يكون التحكم الكامل مطلوباً؛ nnsight — لكود بحثي قابل للقراءة؛ pyvene — للتحليل السببي المنظم.

حيث يتم تطبيق Steering

عرض توضيحي للبرنامج التعليمي — تحويل النموذج نحو hate-speech. الاختيار متعمداً غير مريح: فهو يثبت بوضوح أن التدخل يعمل. في الوقت نفسه، تُستخدم الأدوات ذاتها لاكتشاف ومعالجة السلوك غير المرغوب — steering يعمل في الاتجاهين.

اتجاهات تطبيق عملية:

• أبحاث التوافق: دراسة المفاهيم المرمزة في الشبكة العصبية ومدى قابليتها للفصل

• الاختبار الأحمر للسلامة: التحقق مما إذا كان يمكن تنشيط السلوك غير المرغوب دون بيانات تدريبية

• الترجمة الآلية: تحديد طبقات المحول المسؤولة عن خصائص دلالية محددة

• التحرير بدون ضبط دقيق: إزالة أو تضخيم نمط من خلال تدخل موجه

ما يعنيه هذا

قبل سنوات قليلة فقط، كان Activation Steering أداة من مختبرات أكاديمية — استخدمه الباحثون في Anthropic و DeepMind و EleutherAI في أعمال mechanistic interpretability. جعل ظهور nnsight و pyvene حاجز الدخول إلى مستوى كود pytorch العادي. برنامج تعليمي باللغة الروسية على Habr هو حالة نادرة حيث يتلقى موضوع متخصص كهذا شرحاً عالي الجودة بدون حاجز لغوي. بالنسبة للفرق التي تعمل على سلامة وتوافق نماذج اللغة، أصبح إتقان steering مهارة عملية وليس تمريناً أكاديمياً.