أكسفورد تنشر كتابًا دراسيًا من 180 صفحة حول قابلية تفسير الشبكات العصبية مع الشيفرة البرمجية

اعتدنا منذ زمن على وضع غريب: النموذج يجيب إجابة صحيحة، ولا أحد يعرف لماذا أجاب هكذا بالتحديد. لا المطوّر، ولا مدير المنتج، وأحيانًا حتى مؤلفو النموذج نفسه. وعندما يبدأ فجأة في مجاملة المستخدم أو اختلاق الحقائق أو الالتفاف على القيود، فإننا في الغالب نعالج العَرَض: نعدّل الموجّه (prompt)، أو نعيد التدريب، أو نضيف مرشّحًا. أما قابلية التفسير الميكانيكية فتقترح نهجًا مختلفًا: أن نفتح النموذج وننظر أي آليات داخلية مسؤولة عن ذلك.

نشر باحثون من University of Oxford ومؤسسات علمية أخرى مراجعة كبيرة من 180 صفحة تجمع هذا المجال في كتاب دراسي واحد. وهي موجّهة نحو سلامة الذكاء الاصطناعي. ويرافقها دورة تفاعلية ودفاتر Jupyter Notebooks مع تجارب عملية.

ماذا يوجد داخل الكتاب

وفقًا لوصف المؤلفين، تُبنى المادة حول أربعة أجزاء.

الأول: superposition وtransformer circuits. الفكرة أن عدد الخلايا العصبية في الشبكة أقل من عدد المفاهيم التي يجب أن تخزنها. لذلك كثيرًا ما تشارك الخلية الواحدة في عدة معانٍ في آن واحد، ولا يمكن فهم الكثير من خلية منفردة. ويشرح هذا القسم كيف تُرمّز الشبكات المعلومات وكيف تتشكل الحسابات من ذلك.

الثاني: المشفّرات التلقائية المتناثرة (sparse autoencoders، أو SAE). وهي طريقة تأخذ التمثيلات الداخلية للنموذج وتفكّكها إلى سمات أكثر «نقاءً». فبدلًا من متجه تنشيطات متشابك، تحصل على مجموعة اتجاهات مفهومة، مثل «هذا يتعلق بالشيفرة» أو «هذا يتعلق بالاعتذار». ويمكن عندها البحث عن هذه السمات ومقارنتها وتتبعها.

الثالث: circuit discovery. ويدور حول كيفية العثور على جزء صغير من الشبكة مسؤول عن سلوك محدد، والتحقق من أنه مسؤول عنه فعلًا وليس مجرد تزامن في الوقت.

الرابع: الجزء التطبيقي المتعلق بالسلامة: steering (التحكم في سلوك النموذج)، وتحرير المعرفة، ومراقبة الآليات الخفية.

لماذا يستحق الجزء العملي أن تفتحه

عادةً تبدو قابلية التفسير كمجموعة مقالات يجب تجميعها قطعة قطعة. أما هنا فهناك بنية موحدة وشيفرة يمكن تشغيلها وتجربتها. وهذا يخفض عتبة الدخول للمهندس: يمكنك أخذ نموذج مفتوح صغير، وتشغيل تجربة من الدفتر، ورؤية شكل «السمة» داخل الشبكة.

وهنا مواضع قد يفيد فيها ذلك عمليًا:

• إذا كنت تنشر نماذج open-weights، فالتنشيطات متاحة لك، وبالتالي تتاح لك طرق مثل SAE وsteering. أما في واجهات API المغلقة فلا يتوفر عادةً مثل هذا الوصول، وهذا قيد مهم.
• إذا كنت مسؤولًا عن جودة المنتج أو سلامته، فقد تكمّل مراقبة السمات الداخلية الفحوص الخارجية مثل الاختبارات والمرشحات. هذه فكرة وليست وصفة جاهزة، والكتاب يوضح من أين تبدأ.
• إذا كنت مدير منتج أو مؤسسًا، فستساعدك الدورة على فهم ما يعد به باحثو قابلية التفسير بالضبط، وأين ينتهي الواقع.

القيود التي يذكرها المؤلفون أنفسهم

أهم ما ينبغي ملاحظته أن المراجعة لا تبيع قابلية التفسير على أنها زر سحري. فالمؤلفون يتناولون صراحةً قيود الطرق الحالية، ويؤكدون أن فهم الآليات الداخلية وحده لا يضمن سلامة النموذج. إن رؤية «سمة خداع» في الشبكة ليست مثل تعطيلها بشكل موثوق والتيقن من أن السلوك لن يعود عبر طريق آخر.

وفوق ذلك، هذا كتاب دراسي ومراجعة، وليس أداة جديدة ستدخل غدًا في خط إنتاجك (pipeline). وإن كنت تبحث عن حل جاهز للإنتاج فلن تجده هنا. لكن ستجد خريطة للمنطقة، يسهل الاهتداء بها عندما يعلن الإصدار التالي أننا «تعلمنا فهم كيف يفكر النموذج».

ما العمل

إذا كنت تعمل مع النماذج على مستوى أعمق من واجهة API، فاحفظ الروابط إلى ورقة arXiv التمهيدية 2611.08438 وإلى الدورة التفاعلية. خصّص أمسية للدفاتر وجرّب على نموذج صغير تجربة واحدة على الأقل مع SAE أو steering. وحتى لو لم يصل ذلك إلى منتجك، فستبدأ بفهم أفضل لما يجري داخل نماذجك. يبقى الصندوق الأسود صندوقًا أسود، لكن صار لديه الآن دليل لفتحه.