التعلّم الهيبي بلا backprop ينتهي إلى k-means ويخسر على كل الجبهات

يمكن تلخيص التجربة التي رواها المؤلف على Habr في سطر واحد: دُرّبت الطبقة المخفية في شبكة عصبية دون backprop، بقواعد هيبية محلية فقط، ثم قورنت بالانحدار التدريجي على ثلاثة محاور. والنتيجة 0:3. لم تتفوق الطريقة الهيبية على backprop لا في الدقة، ولا في وضع العدد القليل من الأمثلة المسمّاة، ولا في النسيان عند تبدّل المهام. وانتهت القاعدة نفسها إلى خوارزمية k-means التقليدية.

نُشرت المادة في المصدر على هيئة إعلان مع عرض موجز، لذلك تبقى مجموعات البيانات المحددة وجداول المقاييس في المقال الأصلي. لكن منطق التجربة واستنتاجاتها واضحان من دونها.

ماذا جُرّب ولماذا

يقوم التعلّم الهيبي على فكرة قديمة: يقوى الارتباط بين نيورونين إذا نشطا في الوقت نفسه. وأهم خصائص هذه القاعدة أنها محلية. فالنيورون لا يحتاج إلى إشارة خطأ عامة يمرّرها backprop عبر الشبكة كلها. وهذا جذاب للعتاد العصبي المحاكي (neuromorphic) ولمعقولية النموذج بيولوجيًا. ولذلك يعود السؤال بين حين وآخر: هل يمكن الحصول على سمات جيدة دون تدرجات؟

وضع المؤلف المسألة بطريقة عملية: استبدال تدريب الطبقة المخفية بقواعد محلية، ثم النظر في المواضع التي تتفوق فيها هذه الشبكة. وكانت الرهانات على ثلاثة سيناريوهات تظهر فيها نقاط ضعف backprop: قلة التسميات، والنسيان الكارثي، والدقة العامة.

أين تعثّر كل شيء

بحسب وصف المؤلف، فإن المشكلات كانت كافية لقصة مستقلة.

• الشبكة كانت تقتل نيوروناتها بنفسها. هذه علة كلاسيكية في التعلّم التنافسي: إذا كفّ النيورون عن الفوز فلن يتلقى أي تحديثات ويبقى ميتًا. وتتقلص سعة الطبقة، مع أن عدد النيورونات رسميًا لم يتغير.
• تطوّر القواعد كان يخدع نفسه. عندما يُبحث عن صيغة قاعدة التحديث بالبحث التطوري، تتحول دالة اللياقة إلى هدف في ذاتها، فتجد الخوارزمية ثغرات بدل السمات المفيدة. يرتفع المقياس، لكن جودة التمثيل لا ترتفع.
• أخطاء المؤلف نفسه. يكتب صراحةً أنه أخطأ، وهذا أثمن ما في التحليل، فالنتائج السلبية في هذا المجال نادرًا ما تُنشر.

لماذا كان k-means حتميًا

تبدو النهاية منطقية. إذا أبقينا في القاعدة الهيبية التنافس بين النيورونات (يفوز نيورون واحد، كما في winner-take-all) وتطبيع الأوزان، فإن التحديث يؤول إلى إزاحة متجه الفائز نحو المدخل: w ← w + η(x − w). وهذه صيغة k-means المتصلة بالإنترنت (online). يصبح كل نيورون مركز عنقود للمدخلات.

تجد هذه الطبقة البنية في البيانات بلا تسميات بأمانة، لكن بنية العناقيد ليست ملزمة بأن تنطبق على حدود الفئات. يحسّن backprop السمات لمهمة بعينها، بينما يحسّنها k-means وفق هندسة المدخل. ومن هنا الخسارة في الدقة. أما التوقع بأن تنقذ السمات العنقودية الموقف عند قلة التسميات فلم يتحقق هو الآخر. ولم يتفوق هذا النهج في النسيان كذلك.

الخلاصة العملية

لمن يجرّبون بدائل backprop، تقود هذه القصة إلى خطوات محددة.

• قارنوا القاعدة الجديدة أولًا مع k-means وPCA. إذا تطابقت النتيجة فلا جديد لاختراعه.
• راقبوا نسبة النيورونات النشطة أثناء التدريب. تظهر الوحدات الميتة فورًا إذا حُسبت.
• عند البحث التطوري عن القواعد، اختبروا ما عُثر عليه على مهام لم تشارك في الانتقاء.
• احتفظوا بخط أساس (baseline) قوي مع backprop على البيانات نفسها وبميزانية الحوسبة نفسها.

لا يعني ذلك أن التعلّم المحلي بلا مستقبل. لكن القاعدة الهيبية البسيطة على طبقة مخفية واحدة تبقى، بحسب هذه التجربة، تطبيقًا جيدًا للتجميع (clustering) لا أكثر.