مقارنة بين Sigmoid وReLU: الثمن الخفي لفقدان السياق الهندسي

يُنظر إلى الشبكات العصبية العميقة تقليدياً على أنها رسوم بيانية رياضية معقدة، لكن طبيعتها الحقيقية تكمن في الهندسة متعددة الأبعاد. فيمكن اعتبار كل طبقة في الشبكة الاصطناعية آلية لتشويه فضاء الإدخال، إذ تلوي هذا الفضاء وتثنيه وتفصل أجزاءه تباعاً لتشكيل حدود قرار دقيقة. ولكي تعمل هذه الخوارزمية بأقصى كفاءة، من الضروري الحفاظ على المعلومات المكانية في كل مرحلة من مراحل التحويل. وتؤدي المسافة بين نقاط بيانات محددة والمستويات الفائقة (hyperplanes) المتكوّنة دوراً محورياً بوجه خاص، لأن هذه المسافة هي مادة البناء التي يقوم عليها منطق الطبقات الأعمق. وقد كشفت أبحاث حديثة تناولت دالتَي التفعيل الكلاسيكيتين Sigmoid وReLU من منظور هندسي عن مشكلة جوهرية: فقدان هذا السياق المكاني ينطوي على تكاليف حسابية جسيمة، وإن كانت خفية، في مرحلة الاستدلال.

من الناحية التاريخية، اعتمدت بنية التعلم العميق على دالة التفعيل السيغمويدية، التي كانت تضغط القيم المُدخلة بسلاسة في النطاق من صفر إلى واحد، محاكيةً احتمال إثارة الخلية العصبية البيولوجية. غير أنه مع ازدياد عمق الشبكات، واجه المطوّرون مشكلة تلاشي التدرّج (vanishing gradient)، إذ كانت الإشارة تضيع أثناء الانتشار العكسي للخطأ. وجاءت دالة ReLU، أي الوحدة الخطية المقوّمة، بديلاً أحدث ثورة حقيقية في تدريب الذكاء الاصطناعي. ومنطقها بسيط إلى أقصى حد: تُصفَّر جميع القيم السالبة، وتمرّ القيم الموجبة دون تغيير. وقد حلّت هذه البساطة الرياضية الأنيقة مشكلة تلاشي التدرّجات وسرّعت عملية التدريب بشكل جذري، فصارت ReLU المعيار الصناعي الافتراضي. ومع ذلك، كان لهذه الخفة الحسابية في مرحلة التدريب ثمن غير بديهي يُدفع عند التشغيل العملي للنماذج الجاهزة.

تكمن المشكلة في الطريقة التي تتعامل بها ReLU مع فضاء الخصائص الهندسي. فبتصفيرها جميع القيم السالبة، تطوي دالة التفعيل هذه أبعاداً كاملة من بيانات الإدخال في مستوى واحد حرفياً. ومن الناحية الهندسية، يعني ذلك فقدان المعلومات كاملةً عن مدى بُعد النقطة في الجانب السالب من حدّ القرار. فالشبكة العصبية «تنسى» إلى الأبد ما إذا كانت القيمة سالبة قليلاً أم غائرة في السالب. ويُفسد هذا العمى تجاه الفضاء السالب تدرّج المسافات المتصل، ويحرم الطبقات اللاحقة من سياق بالغ الأهمية لفهم شكل توزيع البيانات. ونتيجة لذلك، تفقد الخوارزمية القدرة على بناء علاقات طوبولوجية دقيقة، وتضطر إلى الاعتماد على إشارات مبتورة بشدة وأحادية الجانب.

وفي المقابل، تتمتع دالة Sigmoid، رغم عيوبها الحسابية عند تدريب الشبكات فائقة العمق، بخاصية فريدة هي الحفاظ على السلامة الهندسية. فبفضل منحناها على شكل حرف S، لا تُلغي معلومات المسافة تماماً أبداً. وحتى مع القيم السالبة أو الموجبة الكبيرة جداً بالقيمة المطلقة، تُبقي الدالة على فارق متناهي الصغر لكنه ذو دلالة رياضية. وهذا يعني أن الشبكة العصبية التي تستخدم دوال سلسة كهذه تنقل إلى الطبقات التالية خريطة طوبولوجية غنية، تملك فيها كل نقطة بيانات إحداثيات محددة بوضوح بالنسبة إلى جميع الحدود المتكوّنة. ويتيح الحفاظ على هذا السياق للبنية بناء تمثيلات داخلية للكائنات أكثر تعقيداً ودقة، دون الحاجة إلى إنشاء عُقد إضافية لتعويض المعلومات المفقودة.

ويظهر الثمن الخفي الذي يدفعه المطوّرون مقابل استخدام ReLU تحديداً في مرحلة الاستدلال، أي أثناء التشغيل الفعلي للنموذج المدرَّب عند معالجة طلبات المستخدمين. فبما أن كل طبقة تستخدم ReLU تُتلف جزءاً من السياق المكاني دون رجعة، يضطر المعماريون إلى تعويض هذه الخسارة بزيادة كبيرة في أبعاد الشبكة. وللحفاظ على قدرة النموذج على التصنيف المعقد، يُضطر الباحثون إلى إضافة خلايا عصبية زائدة وطبقات إضافية تحاول محاكاة الهندسة التي محتها عمليات التصفير السابقة. وفي النهاية يصبح النموذج الناتج متضخماً بلا مبرر. وتتطلب هذه البنية المتضخمة حجماً أكبر من الذاكرة العشوائية، وتزيد عدد العمليات الحسابية في كل تمريرة، ما يخفض مباشرةً سرعة توليد الإجابة ويرفع استهلاك الخوادم للطاقة.

ويدفع إدراك هذه الآليات مجتمع المهندسين اليوم إلى إعادة النظر في المسلّمات الراسخة لتصميم الشبكات العصبية. فلم يعد من الجائز أن يُحسم اختيار دالة التفعيل بناءً على سرعة التدريب الأولي على الحواسيب العملاقة وحدها. ويفتح فهم أن التعلم الآلي هو قبل كل شيء نمذجة هندسية دقيقة للفضاء آفاقاً جديدة لتحسين الذكاء الاصطناعي. وقد يكون دمج لا خطيات معدّلة قادرة على حفظ السياق السالب مع إبقاء التدرّجات مستقرة مفتاحاً لبناء أنظمة أكثر إحكاماً وسرعة وكفاءة في استهلاك الطاقة. وفي نهاية المطاف، تتيح العناية بالمعلومات المكانية للخوارزميات بلوغ دقة عالية جداً بتكاليف حسابية أقل بكثير، وهو عامل حاسم لنجاح نشر الذكاء الاصطناعي في الأجهزة المحمولة والحوسبة الطرفية.