DeepMind و«تعدين» دوال التنشيط: لماذا حان وقت إحالة ReLU إلى التقاعد

لعقود طويلة، عشنا في عالم كانت فيه دالة التنشيط ReLU معيارًا لا يُمسّ. فهي بسيطة كالطوبة، وكفاءتها تكفي تمامًا كي لا تعيق تعلّم الشبكات العصبية. لكن لنكن صريحين: لم تنتشر ReLU (Rectified Linear Unit) لأنها مثالية، بل لأننا في عام 2012 لم نملك الموارد لتجربة ما هو أكثر تعقيدًا. أما الآن فقد قررت DeepMind أن الوقت قد حان للتوقف عن التخمين العشوائي، فحوّلت البحث عن الصيغ الرياضية إلى «تعدين» صناعي حقيقي.

بنى فريق الباحثين ما يسمّونه «منجمًا حاسوبيًا». فكرته بسيطة ومجنونة في آن واحد: إذا كنا لا نعرف أي دالة رياضية هي الأنسب للتعلم العميق، فلنجرّبها جميعًا. إنه أسلوب القوة الغاشمة الكلاسيكي في أقصى صوره. وبدلًا من ترك علماء الرياضيات سنوات يشتقون براهين أنيقة، زجّت DeepMind بآلاف المعالجات الرسومية في المعركة لـ«تستخرج» الخوارزمية المثلى.

لماذا يحدث هذا الآن تحديدًا؟ لأن سوق LLM اصطدم بسقف الكفاءة. فنحن نزيد عدد المعاملات بلا توقف، بينما تكاد اللبنات الأساسية للنماذج لا تتغير. أدركت DeepMind أن أي مكسب ضئيل في الكفاءة على مستوى دالة التنشيط، عند حجم نماذج مثل GPT-4 أو Gemini، يوفّر ملايين الدولارات من فواتير الكهرباء وأسابيع من وقت التدريب. وهذا ليس اهتمامًا أكاديميًا فحسب، بل اقتصاد خالص.

خلال عملية «التعدين»، اختبر النظام ملايين التركيبات من المعاملات الرياضية. وبحث الباحثون عن دوال لا تحقق دقة عالية على الورق فحسب، بل تتوافق أيضًا مع العتاد الحديث. وتبيّن أن كثيرًا من الدوال القوية نظريًا شديدة التعقيد للحساب على وحدات GPU، ما يجعلها عديمة الجدوى في بيئات الإنتاج الفعلية. أما DeepMind فبحثت عن نقطة التوازن: سهولة في الحساب ومرونة في الصياغة الرياضية.

النتائج لافتة. فالدوال التي عُثر عليها تتفوق ليس على ReLU القديمة فحسب، بل على بدائل أحدث مثل Swish أو GeLU. والأهم هنا هو تحوّل النموذج الفكري: ننتقل من عصر «بشر أذكياء يبتكرون الخوارزميات» إلى عصر «أنظمة ذكية تنمّي الخوارزميات». وهذا هو AutoML الحقيقي الذي حلمنا به خلال السنوات الخمس الماضية، لكنه بلغ الآن أساس الروابط العصبية ذاتها.

ماذا يعني ذلك للصناعة؟ على الأرجح سنرى في الجيل القادم من النماذج اللغوية الكبيرة بنى تبدو لنا غريبة. ستعتمد دوالَّ لا يمكن لعاقل أن يشتقها على السبورة، لأنها لا تبدو «جميلة» بمعايير التحليل الرياضي الكلاسيكي. لكنها ستعمل، وستعمل أسرع من كل ما رأيناه من قبل.

الخلاصة: أثبتت DeepMind بوضوح أن «حمى الذهب» في مجال AI تنتقل من ميدان مجموعات البيانات الضخمة إلى ميدان إعادة ابتكار الرياضيات الأساسية. وإذا كنتم تظنون أن أسس التعلم العميق قد تصلّبت كالإسمنت، فاستعدوا: لقد بدأ هدمها للتو بالمطرقة الهوائية.