arXiv cs.AI→ المصدر

الشبكات العصبية أكثر نمطية مما تُظهره العصبونات: ثلاثة مستويات للفحص

يقترح مؤلفو دراسة أولية (preprint) على arXiv تسلسلاً هرمياً متداخلاً لنمطية الشبكات العصبية: unit-level وorthogonal وlinear. وتقوم الفكرة على أن العصبونات المفردة تمزج الوظائف، لكن الشبكة قد تنقسم مع ذلك إلى فضاءات جزئية مستقلة. أجرى الباحثون الفحص على نماذج الرؤية والنماذج اللغوية وشبكات RNN متعددة المهام عبر الاستئصال الانتقائي (ablation). وفي الرؤية ينفصل المحتوى عن الأسلوب، وفي اللغة ينفصل النحو عن الدلالة عند إزالة الفضاءات الجزئية، مع أن العصبونات مشتركة بينها. • ثلاثة مستويات: العصبونات، والتدوير، والتعيين الخطي. • نمطية الفضاءات الجزئية تظهر حيث لا تظهر على مستوى العصبونات. • تتطابق الفضاءات الجزئية مع بيانات الدماغ بدرجات متفاوتة.

معالج بواسطة الذكاء الاصطناعي من arXiv cs.AI؛ بتحرير Hamidun News
الشبكات العصبية أكثر نمطية مما تُظهره العصبونات: ثلاثة مستويات للفحص
المصدر: arXiv cs.AI. كولاج: Hamidun News.
◐ استمع للمقال

يسود الاعتقاد بأن الشبكات العصبية يصعب تفكيكها إلى أجزاء: فالعصبون الواحد يشارك في عدة وظائف مختلفة، ويبدو الاستنتاج بديهياً، وهو أن هذه الشبكات لا تقوم على تنظيم نمطي. لكن مؤلفي الدراسة الأولية arXiv:2610.12842 لا يتفقون مع ذلك. فهم يقدمون تسلسلاً هرمياً متداخلاً من ثلاثة مستويات للنمطية، ويُظهرون على نماذج الرؤية والنماذج اللغوية وشبكات متكررة متعددة المهام أن الشبكات التي لا وحدات فيها على مستوى العصبونات تضم غالباً وحدات وظيفية واضحة على مستوى الفضاءات الجزئية.

ثلاثة مستويات بدل سؤال واحد

الفكرة المحورية في الدراسة أن سؤال «هل الشبكة نمطية؟» مطروح بصورة فجّة أكثر من اللازم. فإذا اشترطنا أن تشغل الحسابات المختلفة عصبونات لا تتقاطع، فستفشل معظم الشبكات في هذا الاختبار. لكن هذا أصرم معيار ممكن. ويضع المؤلفون ثلاثة معايير، كل منها أخفّ من سابقه:

  • Unit-level. تشغل الحسابات المختلفة مجموعات منفصلة من العصبونات. وهذا هو الفهم الكلاسيكي للوحدة.
  • Orthogonal. يوجد تدوير لفضاء التنشيطات تظهر بعده فضاءات جزئية مستقلة وظيفياً.
  • Linear. يفصل تعيين خطي محدود الحسابات المهمة للمهمة إلى فضاءات جزئية مستقلة.
  • الفحص. طُوّرت لكل مستوى طريقة لتعلّم التحليل. ويُقيَّم الناتج سببياً عبر الاستئصال الانتقائي: يُزال فضاء جزئي ويُنظر في أي وظيفة تضررت.

المستويات متداخلة بعضها في بعض. فالنمطية على مستوى العصبونات تستلزم النمطية المتعامدة، وهذه تستلزم النمطية الخطية. والعكس غير صحيح، وفي هذه الفجوة بالذات يجد المؤلفون الأثر الذي يتحدثون عنه.

ماذا وجدوا عملياً

في نماذج الرؤية ينفصل الفضاءان الجزئيان للمحتوى والأسلوب عند الاستئصال، مع أنهما يستخدمان مجموعات عصبونات متداخلة. وفي النماذج اللغوية يحدث الأمر نفسه مع النحو والدلالة: فإزالة أحد الفضاءين الجزئيين لا تُفسد الآخر.

وتتضمن الدراسة كذلك مقارنة مع علم الأعصاب. فالفضاءات الجزئية المتعلَّمة تتطابق مع بيانات الدماغ بدرجات متفاوتة. إذ تتنبأ الفضاءات الجزئية للمحتوى بنشاط المناطق العليا في القشرة البصرية بصورة أفضل، بينما تتنبأ فضاءات الأسلوب بنشاط المناطق الدنيا بصورة أفضل. وتتنبأ الفضاءات الدلالية بنشاط القشرة اللغوية بدقة أعلى من الفضاءات النحوية. وهذه حجة غير مباشرة تدعم القول إن الانفصال المكتشف يعكس بنية المهمة نفسها، لا أثراً مصطنعاً للطريقة.

أما الحالة الثالثة فهي شبكات RNN المدرَّبة على عدة مهام معرفية في آن واحد. وكانت تُعدّ سابقاً غير نمطية. وقد كشف التحليل المقترح بين المهام عن تفارقات مزدوجة (double dissociations) حادة: فإزالة أحد الفضاءين الجزئيين تُفسد مهمة واحدة ولا تمس الأخرى، وإزالة الفضاء الآخر تفعل العكس. ويُعدّ التفارق المزدوج في علم الأعصاب دليلاً قوياً على انفصال الوظائف.

ماذا يعني هذا للتفسيرية

الاستنتاج العملي لمن يشتغلون على التفسيرية الآلية (mechanistic interpretability) أنه ليس من الضروري البحث عن عصبون مسؤول عن خاصية بعينها. إذ يمكن إجراء التدخل على مستوى الفضاء الجزئي. وإذا عُثر على التحليل، أمكن تعطيل الحساب أو تعديله بدقة، حتى عندما لا يكون أي عصبون بمفرده متخصصاً. وهذه نقطة تدخل أكثر واقعية لأغراض الأمان والتحكم في سلوك النماذج من البحث عن «عصبونات المفاهيم».

وينبغي أخذ القيود في الحسبان. فهذه دراسة أولية لم تخضع للتحكيم، وليس في الملخص أسماء النماذج المختبَرة ولا نتائج كمية، ولذلك لا يمكن تقدير حجم الأثر. ويبقى سؤال آخر مفتوحاً: إلى أي مدى تثبت الفضاءات الجزئية المكتشفة في نماذج LLM الحديثة الكبيرة، وإلى أي حد تتوقف على الوظائف التي حدّدها الباحثون سلفاً. فالطريقة تتطلب وسم الحسابات، مثل المحتوى مقابل الأسلوب، ولا تكتشف الوحدات من تلقاء نفسها.

والخلاصة للممارسين: عند تحليل نموذج ما، ينبغي فحص المستويات الثلاثة كلها، وعدم الاكتفاء بغياب النمطية على مستوى العصبونات. أما النص الكامل وتفاصيل التنفيذ فمكانهما الدراسة الأولية نفسها.

ZK
Hamidun News
أخبار الذكاء الاصطناعي بدون ضوضاء. اختيار تحريري يومي من أكثر من 50 مصدر. منتج من جمال حميدون، رئيس الذكاء الاصطناعي في Alpina Digital.
✦ Unified AI Workspace

Access Frontier LLMs & Multimodal AI in One Workspace

Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.

Try NomadNet AI →Launch NomadNet Agent
ما رأيك؟
جارٍ تحميل التعليقات…