مؤسس فريق قابلية التفسير في OpenAI: 90% من العصبونات تؤدي وظيفة واحدة

نشر Nick Cammarata، مؤسس فريق قابلية التفسير في OpenAI، يوم الجمعة مقالًا طويلًا جدًا يقلب الصورة المألوفة: نحو 90% من العصبونات في النماذج الكبيرة تؤدي وظيفة واحدة، أما النموذج بتريليون معامل فيصبح «شبه مقروء» بمساعدة أدوات الوكلاء (agentic) الحديثة. ووصفت وسيلة الإعلام الصينية Jiqizhixin النص بأنه من أهم النتائج في مجال الذكاء الاصطناعي. وقد أثار المقال بالفعل نقاشًا حادًا في الأوساط المتخصصة.

ما الذي يطرحه Cammarata تحديدًا

يرى Cammarata أن تصوّر الشبكة العصبية بوصفها «صندوقًا أسود» عصيًّا على الفهم كان في جانب كبير منه فكرة خاطئة. فمعظم العقبات التي توقعها الباحثون لا تظهر عمليًا. ومن هنا يخلص إلى أن مسألة قابلية التفسير ستُحلّ، وربما بسرعة.

ويجدر ذكر قيد مهم منذ البداية. فالجزء المتاح من المقال لا يتضمن وصفًا للمنهجية، ولا لمجموعات النماذج، ولا للمعايير التي يُعدّ العصبون بموجبها «أحادي الوظيفة». ورقم 90% مأخوذ من عنوان المادة. ولا يمكن التحقق منه دون النص الكامل للمقال وتجارب قابلة لإعادة الإنتاج.

لماذا يبدو الطرح جريئًا

انطلق الباحثون في السنوات الأخيرة من الافتراض المعاكس. فالعصبونات في النماذج الكبيرة كثيرًا ما تكون متعددة الدلالات (polysemantic)، أي أن العصبون الواحد يستجيب لعدة مفاهيم غير مترابطة. ويربط الباحثون هذه الصورة بفرضية التراكب (superposition)، التي تفترض أن الشبكة تحزم عددًا من السمات أكبر من عدد عصبوناتها. ولفكّ هذا التراكب اعتمدت المختبرات المرمّزات التلقائية المتناثرة (sparse autoencoders) وما يشابهها من الأساليب. وهو التفاف مكلف، ولا يكون مجديًا إلا إذا كانت العصبونات «النقية» قليلة.

وقد شارك Cammarata نفسه في عمل OpenAI لعام 2023، الذي كتب فيه GPT-4 تفسيرات نصية لعصبونات GPT-2. وحصلت معظم التفسيرات حينها على تقييمات منخفضة، وبدا أن الأسلوب بلغ سقفه. أما اليوم فيقول إن القيد الرئيس لم يكن في موضوع الدراسة نفسه، بل في الأدوات.

وبحسب منطق المقال، يغيّر الوكلاء اقتصاديات المهمة. فالباحث الواحد لا يستطيع تحليل مليارات العصبونات يدويًا. أما الوكيل فيستطيع أن يصوغ لكل عصبون فرضية، ويُجري تجربة، ويختبرها على أمثلة جديدة، ثم يعيد كتابة الوصف. وفي حالة النموذج بتريليون معامل، يحوّل ذلك عملًا يدويًا يستحيل إنجازه إلى مهمة حسابية.

أبرز النقاط

• المؤلف: Nick Cammarata، مؤسس فريق قابلية التفسير في OpenAI.
• الصيغة: مقال طويل جدًا نُشر يوم الجمعة.
• الرقم الرئيس: نحو 90% من العصبونات تؤدي وظيفة واحدة.
• النطاق: نماذج تصل إلى تريليون معامل.
• الأداة: أنظمة وكلاء (agentic) حديثة بدلًا من التحليل اليدوي.
• التوقع: ستُحلّ مسألة قابلية التفسير، «ربما قريبًا». ولا يتضمن الجزء المتاح من المقال أي مواعيد محددة.
• الوضع: رأي شخصي للمؤلف، وليس ورقة بحثية محكَّمة.

كيف ينبغي أن يقرأ المهندسون وفرق الأمان هذا الطرح

التشكيك هنا معيار مهني وليس عدم ثقة بالمؤلف. أولًا، ينبغي معرفة كيف عُرّفت «الوظيفة الواحدة»: هل بحسب السلوك على أمثلة، أم بحسب التدخلات السببية، حين يُعطَّل العصبون ويُنظر في ما ينكسر؟ والفحص الثاني أكثر صرامة بكثير. ثانيًا، من المهم معرفة ما إذا كانت النتيجة تتكرر على نماذج مفتوحة، حيث تستطيع مجموعات مستقلة تشغيل خطوط الوكلاء نفسها. وأخيرًا، فإن 90% من العصبونات لا تعني 90% من سلوك النموذج. فقد تحمل النسبة الباقية، وهي عشرة بالمئة، أخطر القدرات وأكثرها تعقيدًا.

وإذا صمد الطرح أمام الفحص، فستكون العواقب عملية. فتدقيق النماذج بحثًا عن الخداع والأهداف الخفية والثغرات لن يبقى تجربة بحثية، بل سيصبح إجراءً هندسيًا يمكن مطالبة مزوّد النموذج به. وعلى الفرق التي تبني منتجات على LLM أن تتابع عمليات إعادة الإنتاج المفتوحة، وأن ترصد ما إذا كانت أدوات الوكلاء ستتضمن خطوط تفسير جاهزة. أما الآن، فالأجدر قراءة المقال بوصفه فرضية قوية من شخص يعمل على هذا الموضوع منذ مدة أطول من معظم الباحثين.