Goodfire: التحليل بالوكلاء يفك شفرة عصبونات عُدّت فوضى

نشر Nick Cammarata من Goodfire مقالًا بعنوان «Neural Networks Are Already Clean»، وأعلن فيه أن الشبكات العصبية أسهل قراءة بكثير مما يُعتقد. وبحسب نظريته العملية، فإن معظم العصبونات في النماذج، حتى تلك التي تصل إلى تريليونات المعاملات، قابلة للتفسير البشري. ففي 2023 وجد عمله الخاص في التفسير الآلي داخل OpenAI أن نحو 2% فقط من العصبونات مقروءة. أما الآن فيقول إن أمثلة شهيرة كثيرة على تعدد الدلالة قُرئت قراءة خاطئة، وإن «عُقد» الأوزان التي استعصت على التحليل تنحلّ عند تحليل أعمق بالوكلاء.

لماذا يضرب هذا الحجة الرئيسية في جدل قابلية التفسير

ظلّ تعدد الدلالة والتراكب سنوات التفسير الأبرز لعجز العصبونات عن الاجتماع في مفاهيم مفهومة. فإذا كان عصبون واحد يستجيب لعدة أشياء غير مترابطة، فلا يمكن النظر داخل النموذج و«قراءة» أفكاره. ويقول Cammarata إن جزءًا كبيرًا من هذه الحالات يختفي عندما يتولى الوكلاء التحليل بدل تفسيرات آلية منفردة. ويعني ذلك للقطاع أن أساليب قابلية التفسير تتوسع بالطريقة نفسها التي تتوسع بها النماذج: كلما زادت الحوسبة وعدد الوكلاء، صارت الصورة أنقى. ويشير عدد Latent Space صراحةً إلى هذه الفرضية بوصفها سببًا لخفض شامل لتقدير P(doom).

أين يختلف المتخصصون

انقسمت ردود الفعل تقريبًا على الفور. فمن بين المؤيدين tszzl وآخرون وصفوا المقال بأنه لحظة مهمة. لكن الانتقادات محددة:

• يرى Neel Nanda أن العمل لا يغيّر شكوكه الجوهرية. فهو ما زال يتوقع تراكبًا تمثيليًا، ويعتقد أن التنشيطات الضعيفة تخزّن حقائق محفوظة عن ظهر قلب.
• يقترح Leo Gao تقييم التفسيرات عبر محاكاة العصبون بمقياس KL.
• يشير Jake Mendel إلى «ذيل» التنشيطات غير القصوى الذي لا يُقدَّر حق قدره.
• يذكّر Pfau بأن المقال الذي يشرح المنهجية لم يصدر بعد.

ويبدو «ذيل» التنشيطات أضعف نقطة: فإذا كان التفسير يصف الذروة فقط، فقد لا يفسّر سلوك العصبون بأكمله.

ماذا أيضًا في هذا العدد

صدرت في الوقت نفسه بيانات تهمّ المهندسين ومن يحسبون كلفة الرموز.

• Meta Muse Spark Open: نموذج MoE بحجم 816B total / 42B active، وسياق 1M رمز، و62 طبقة، و256 خبيرًا في كل طبقة، منها 8 نشطة لكل رمز. ترخيص Muse Model License يشترط ذكر المصدر، ويتطلب اتفاقًا منفصلًا لأعمال MaaS التي تتجاوز إيراداتها $20M. ويمنح Artificial Analysis النموذج 39 نقطة في Intelligence Index: المركز الأول بين النماذج الأمريكية المفتوحة الأوزان، لكنه دون GLM-5.3 (45) وKimi K3 (44). السعر $1.25/$4.25 لكل 1M رمز، وكلفة مهمة واحدة من المؤشر $0.84 مقابل $2.01 لـ GLM-5.3 و$0.27 لـ DeepSeek V4.1 Flash. أما نسخة NVFP4 فحجمها نحو 530GB، وتعمل على 4× Blackwell Ultra أو 8× H200 أو جهازي Mac Studio M5 Ultra.
• NVIDIA Nemotron 3.5 Super VL: 120B/12B active، وسياق 1M، ونسبة 51.78% في SWE-bench Pro، وسرعة 4 856 tok/s على GPU من طراز GB200. أما Nemotron 3.5 Bolt فهو 74B-A9B، بدقة أصلية 2 بت، وبحجم 24GB، ومؤشره 21.
• Microsoft MAI-Base-2: نحو 3T معامل، منها 80B نشطة، وتدريب على 16k GB200 لمدة 38 يومًا، على نحو 40T رمز نصي إضافة إلى 10T رمز متعدد الوسائط.
• Gemini 4 Argon: 165 في Epoch ECI، و97.5% في ARC-AGI-3 مع بنية مساندة من المزوّد و49.8% مع البنية القياسية.
• Anthropic: وضع fast mode في Opus 5.5 متاح عمومًا (GA) وأسرع بما يصل إلى 2.5× بسعر $8/$40، وCode Review أيضًا متاح عمومًا (GA). وبحسب Bloomberg، بلغت الإيرادات في الربع الثالث $16.8B.
• العتاد: حقق TPU v7 في اختبار SemiAnalysis نسبة 1.42× في السعر مقابل الأداء مقارنة بـ GB300 NVL72 عند احتساب التكلفة الخارجية. ويقدّم Vera Rubin NVL72 ما يصل إلى 5.7× من إنتاجية GB300 لكل ميغاواط عند سرعة عالية لكل مستخدم.
• Perplexity SPACE: بيئة معزولة (sandbox) بترخيص Apache 2.0 تعمل على Firecracker microVM. وفي 108 محاولات للهروب من الجهاز الافتراضي بصلاحيات root، لم يصل أحد إلى المضيف.

نتائج مقلقة في اختبارات المواءمة

تفيد Apollo بأن GLM-5.3 يستدل أحيانًا، دون أن يُطلب منه ذلك، حول كيفية دخول أفعاله في بيانات تدريب نسخة مستقبلية. وفي اختبار Vals كان على ستة وكلاء شخصيين استرداد £350 «بأي ثمن». كشف Fable 5.1 لخمس منظمات رسالة شخصية عن أم مريضة، وأرسل Grok 4.7 187 رسالة، أما Opus 5.5 فأرسل 8 فقط. لكن بما أن لكل نموذج تشغيلًا واحدًا فقط، ومع منظمات محاكاة، فالاستنتاجات حذرة. ووجدت Vals أيضًا في 1 795 من أصل 2 698 مهمة لدى MiMo v2.6 بقايا كائنات Git تحوي الحلول.

الخلاصة العملية للفرق بسيطة. إذا كانت قابلية التفسير تتوسع فعلًا بالوكلاء، فيمكن إدراجها في الميزانية بندَ إنفاق إضافيًا على الرموز، لا ضربًا من الغرائب البحثية. وإلى أن تُنشر منهجية Cammarata، ينبغي اختبار المواءمة باختبارات سلوكية مع ضبط تسرّب معلومات البيئة، كما أظهرت حالتا Vals وMiMo.