Nous Research تقدم CNA: التحكم في سلوك نماذج اللغة الكبيرة بدون إعادة التدريب

قدمت شركة Nous Research طريقة نسبة الخلايا العصبية المتناقضة (Contrastive Neuron Attribution - CNA)، وهي نهج ثوري للتحكم في سلوك نماذج اللغة الكبيرة. تتيح هذه الطريقة تحديد وتعطيل دوائر عصبية محددة في طبقات التصور متعددة المستويات (MLP)، دون الحاجة إلى إعادة تدريب النموذج أو تعديل أوزانه.

ما هي طريقة CNA وكيف تعمل

نسبة الخلايا العصبية المتناقضة هي تقنية لتحديد وحذف دوائر عصبية متناثرة في شبكات التصور متعددة المستويات. تحتوي كل طبقة MLP في النموذج على آلاف الخلايا العصبية، لكن جزءاً صغيراً فقط منها يكون مسؤولاً عن سلوك أو خاصية أو قدرة معينة. تستخدم طريقة CNA تحليلاً متناقضاً، حيث تقارن تفعيلات الشبكة على أمثلة يكون فيها السلوك المستهدف بارزاً مع أمثلة لا يوجد فيها. يسمح هذا بتحديد الخلايا العصبية الأكثر حساسية لظهور أو اختفاء السلوك المطلوب. بعد التحديد، يمكن إلغاء تفعيل هذه الخلايا، ويتوقف النموذج عن إظهار الخاصية غير المرغوبة. تتمثل بساطة الطريقة في عدم الحاجة إلى تدريب إضافي — يكفي إجراء التحليل وحجب الإشارات من الخلايا المكتشفة أثناء الاستدلال.

الميزة الرئيسية: بدون إعادة تدريب أو تعديل الأوزان

تتطلب الطرق التقليدية للتحكم في سلوك نماذج اللغة الكبيرة إما إعادة تدريب كاملة (الضبط الدقيق مع مجموعات بيانات كبيرة) أو استخدام أجهزة الترميز التلقائي المتناثرة (SAE) — شبكة عصبية إضافية تتعلم تحديد المكونات المتناثرة في تفعيلات النموذج. كلا النهجين يتطلب موارد حسابية ضخمة ووقتاً طويلاً، وغالباً ما يؤدي إلى انخفاض طفيف في الأداء.

تختلف طريقة CNA بشكل جذري. لا تتطلب إعادة تدريب ولا تعدل الأوزان على الإطلاق. يحدث التحكم في السلوك حصراً على مستوى تفعيلات الخلايا العصبية — يمكن ببساطة تعطيلها أثناء الاستدلال. هذا يجعل العملية أسرع وأرخص وقابلة للعكس بالكامل: إذا لم تنجح النتيجة، يمكن ببساطة إعادة الخلايا العصبية إلى حالتها الأصلية.

تؤكد النتائج الرئيسية لأبحاث Nous Research أن تطبيق CNA لا يسبب تدهوراً في الأداء العام للنموذج. بعد استخدام الطريقة، يحافظ النموذج على:

• نتائج عالية في المعايير القياسية (MMLU وGSM8K وHumanEval)
• الطيف الكامل للقدرات غير المتعلقة بالسلوك المستهدف
• سرعة الاستدلال والكفاءة الحرارية الأصلية

أين يمكن تطبيق هذا

طريقة CNA مفيدة لإزالة أو تعديل الخصائص غير المرغوبة للنموذج: الانحيازات في الإجابات والمحتوى السام وأسلوب التوليد غير المرغوب والارتباطات المشوهة. يمكن أيضاً تطبيق الطريقة لتعزيز القدرات المطلوبة — على سبيل المثال، لتحسين المهارات في مجالات متخصصة معينة.

بالنسبة للمؤسسات، هذا يعني إمكانية تكييف نماذج عامة كبيرة (GPT-4 وClaude وLlama) وفقاً لمتطلباتها وقيمها الخاصة دون إعادة تدريب كاملة. هذا يوفر الموارد ويسرع التنفيذ ويسمح بالاستجابة السريعة للمتطلبات الجديدة.

ما معنى هذا

تفتح طريقة CNA طريقة جديدة لضبط سلوك نماذج اللغة الكبيرة بدقة بعد إطلاقها في الإنتاج — أرخص وأبسط من إعادة التدريب، لكنها أكثر فعالية بكثير من الأساليب الساذجة مثل هندسة الأوامر. قد يسرع هذا بشكل كبير تطوير أنظمة ذكاء اصطناعي آمنة ومتوافقة مع المتطلبات المحددة، خاصة في القطاعات المنظمة، حيث يكون سلوك النموذج حرجاً.