التعلم تحت العتبة: هل تتذكر الشبكات العصبية المنسي؟

في المقالات السابقة، تناولنا موضوع التعلم اللاواعي في الشبكات العصبية، مما أثار أسئلة أكثر من الإجابات. حان الوقت للتعمق في هذه الظاهرة، معتمدين على تجارب جديدة وتحليل الأكواد. أحد الأسئلة الرئيسية في مجال محاذاة الذكاء الاصطناعي وسلامة نماذج اللغة الكبيرة (LLMs) هو التالي: هل الضبط الدقيق (fine-tuning) أو التدريب بالتعلم المعزز من التغذية الراجعة البشرية (RLHF) طريقة موثوقة لإزالة المعلومات غير المرغوبة أو الخطيرة المضمنة في الأصل في النموذج؟

تُظهر التجارب أن التأثير المعروف لاتصالية الأنماط يجعل من المستحيل عملياً محو المعلومات المكتسبة بالكامل خلال مرحلة التدريب الأولي مع الضبط الدقيق القياسي. الجوهر هو أن "البصمة" الهيكلية (imprinting) تحتفظ بها في طوبولوجيا أوزان الشبكة العصبية ويمكن قراءتها من خلال نوع من القناة "اللاواعية". حتى مع إلغاء تجميد المعاملات بالكامل (أي القدرة على تغيير جميع معاملات الشبكة) وتطبيق تنظيم L2 عدواني يهدف إلى "نسيان" المعارف القديمة بنشاط، يتم الحفاظ على طوبولوجيا الفضاء الكامن المكونة خلال التدريب الأولي وتستمر في التأثير بشكل كبير على حل المهمة الجديدة. يمكن أن تصل دقة استعادة المعارف القديمة، التي يبدو أنها حُذفت، إلى 88-99٪.

يمكن تفسير تأثير اتصالية الأنماط على النحو التالي: يحتوي مشهد الخسارة للشبكة العصبية (أي الدالة التي تحاول تقليلها أثناء التدريب) على هيكل معقد به العديد من الحد الأدنى المحلي. يتوافق كل من هذه الحد الأدنى مع "نمط" محدد أو طريقة لحل مهمة. تعني اتصالية الأنماط أن هذه الحد الأدنى متصلة بـ "مسارات" بخسارة منخفضة نسبياً، مما يسمح للنموذج بالتبديل بين أنماط التشغيل المختلفة مع الحفاظ على البنية الكلية للمعرفة.

آثار هذا الاكتشاف على سلامة وموثوقية LLMs ضخمة. إذا لم يمكن إزالة المعلومات غير المرغوبة بالكامل، فهناك خطر من "ظهورها" في اللحظة الأكثر عدم ملاءمة، على سبيل المثال، أثناء توليد النص، أو التفاعل مع المستخدم، أو اتخاذ القرارات. هذا خطر بشكل خاص في سياق النماذج المستخدمة في المجالات الحرجة مثل الرعاية الصحية والتمويل أو العدالة.

علاوة على ذلك، تطرح نتائج البحث تساؤلات حول فعالية طرق محاذاة الذكاء الاصطناعي الموجودة التي تهدف إلى التحكم في إدارة سلوك LLM. إذا احتفظ النموذج بمعارف مخفية لا تخضع للتحكم المباشر، فمن الضروري تطوير طرق جديدة أكثر تقدماً تأخذ في الاعتبار هذا التأثير اللاواعي للتعلم.

أحد الاتجاهات الممكنة هو تطوير معماريات الشبكات العصبية التي تكون أكثر مقاومة لاحتفاظ المعلومات غير المرغوبة. آخر هو تطوير طرق ضبط دقيق أكثر فعالية تسمح ليس فقط بتكييف النموذج مع مهمة جديدة، بل أيضاً بـ "نسيان" المعارف القديمة بنشاط دون تدمير بنيتها الكلية.

في الخلاصة، يؤكد البحث في التعلم اللاواعي في الشبكات العصبية على أن الضبط الدقيق و RLHF ليسا علاجاً شافياً للمعلومات غير المرغوبة. يتم الحفاظ على البصمة الهيكلية في طوبولوجيا الأوزان ويمكن تفعيلها. يتطلب هذا تطوير نهج جديد لمحاذاة الذكاء الاصطناعي يأخذ في الاعتبار هذا التأثير ويهدف إلى إنشاء LLMs أكثر أماناً وموثوقية.