SAE على Gemma-2-2B: ارتفاع نسبة الميزات المتطابقة من 2% إلى 29% عند 50M رمز

أصبحت Sparse autoencoders (SAE) من الأدوات الرئيسية في تفسير النماذج اللغوية، وتُدرَّب عادةً على مئات الملايين أو مليارات الرموز من التنشيطات. لكن بالكاد تحقق أحد من أن هذا الحجم ضروري فعلًا. فعل ذلك مؤلفو ورقة جديدة منشورة في Hugging Face Daily Papers، إذ اختبروا أربع معماريات من SAE وثلاثة نماذج لغوية وميزانيات تتراوح بين 5M رمز و500M رمز المرجعية. النتيجة الأهم أن الجواب يتوقف على ما تقيسه بالضبط. في Gemma-2-2B مع BatchTopK، ترتفع نسبة الميزات المتطابقة تطابقًا صارمًا من 2% عند 5M رمز إلى 29% عند 50M.

مقياسان للتقارب

فصل الباحثون بين مفهومين. الأول هو السلوك الوظيفي: جودة إعادة البناء والنتائج على اختبارات SAE القياسية. والثاني هو قابلية التكرار «واحد لواحد»: هل سيعثر SAE مُدرَّب بشكل مستقل على الميزات نفسها التي وجدها SAE المرجعي؟

جاء الفرق بين المفهومين واضحًا. كثيرًا ما تبلغ إعادة البناء مستوى النموذج المرجعي الكامل عند ميزانيات أصغر بكثير. أما قابلية تكرار الميزات فتواصل التحسن مع زيادة البيانات. وقد يبدو SAE «جاهزًا» بحسب المقاييس، بينما يبقى قاموس الميزات بداخله غير مستقر.

أبرز الملاحظات من الورقة:

• نطاق التجربة: 4 معماريات من SAE، و3 نماذج لغوية، وميزانيات من 5M إلى 500M رمز.
• Gemma-2-2B مع BatchTopK: الميزات المتطابقة تطابقًا صارمًا 2% عند 5M رمز و29% عند 50M رمز.
• الحاجة إلى البيانات تعتمد بشدة على المقياس: تصل إعادة البناء إلى الاشباع مبكرًا، أما قابلية التكرار فلا.
• العينة العشوائية تحافظ بصورة أفضل على التوزيع الأصلي للتنشيطات، وعادةً ما تتفوق في إعادة البناء.
• الاختيار القائم على التنوع يحسّن نتائج AutoInterp في كثير من الأحيان.

كيف نختار البيانات

لا يهم حجم البيانات وحده، بل أيضًا طريقة انتقائها. تعيد العينة العشوائية إنتاج توزيع التنشيطات بدقة أكبر، ولذلك تُفضَّل عادةً في المهام التي تتطلب إعادة بناء جيدة. أما الاختيار القائم على التنوع فيغطي مزيدًا من أنماط سلوك النموذج النادرة، وغالبًا ما يرفع تقييمات AutoInterp، أي التفسير الآلي للميزات. لا توجد أداة أخذ عينات «أفضل» واحدة، بل تُختار بحسب الهدف.

ويشرح القسم النظري من الورقة سبب تباعد المقياسين. اتساق التدريب إحصائيًا على عينة جزئية شرط واحد. أما استعادة الميزات واحدًا لواحد فتتطلب شروطًا أشد صرامة تتعلق بقابلية التحديد والتحسين. بعبارة أخرى، حتى لو قدّمت العينة الجزئية تقريبًا جيدًا للدالة المستهدفة، فهذا لا يضمن أن تصل عمليات تدريب مختلفة إلى مجموعة الميزات نفسها.

ماذا نفعل عمليًا

الخلاصة للفرق التي تدرّب SAE واقعية إلى حد كبير. إذا كان الهدف الحصول سريعًا على SAE عملي بإعادة بناء جيدة، فإن ميزانية من مئات الملايين من الرموز تبدو، بحسب النتائج، زائدة عن الحاجة في كثير من الأحيان. وهذا يخفض كلفة التجارب، خصوصًا عند المفاضلة بين المعماريات والمعاملات الفائقة.

أما إذا كنتم تنشرون ادعاءات عن ميزات محددة، مثل «هذا المتغير الكامن يرمّز المفهوم الفلاني»، فلا تكفي مقاييس إعادة البناء وحدها. لا بد من فحص صريح لقابلية التكرار: عدة عمليات تدريب مستقلة ومطابقة الميزات بينها. وتشكّل النسبة المنخفضة للتطابق عند الميزانية الصغيرة، مثل 2% نفسها عند 5M رمز، تحذيرًا من أن ميزات منفردة قد تكون نتاجًا عرضيًا لعملية تدريب بعينها.

وأخيرًا، ينبغي اختيار أداة أخذ العينات بحسب الهدف. لإعادة البناء ابدؤوا بالعينة العشوائية، ولقابلية التفسير وفق AutoInterp جرّبوا الاختيار القائم على التنوع. ويؤكد المؤلفون أنه مع اتساق الأهداف والميزانيات، يمكن أن تصبح أبحاث SAE أرخص وأكثر موثوقية. تحفّظ: الأرقام مقدَّمة لنماذج ومعماريات محددة، وتعميمها على مقاييس أخرى يتطلب فحصًا مستقلًا.