التحسين المحدب المتصل: من النظرية إلى Adam وLLM خلال 20 عامًا

قبل عشرين عامًا، كان online convex optimization (OCO) مجالًا ناشئًا عند تقاطع علوم الحاسوب النظرية والتعلم الآلي والتحسين. أما اليوم فإن لغته (الندم regret، والتحديثات التكيفية، والقرارات المتتابعة دون معرفة المستقبل) صارت جزءًا من طريقة تدريب النماذج الحديثة. وقد كرّست الصحيفة الصينية Jiqizhixin مادة مطولة لهذه المسيرة بعنوان ساخر: الرجل الذي قضى حياته يدرس «الندم» يقول إنه لا يندم على شيء. في الجزء المتاح لنا ينقطع النص عند سرد الأساليب (Online Newton Step وما بعده)، ولا يُذكر اسم بطل المادة. لذلك نعتمد أدناه على التاريخ المعلن للمجال، لا على تفاصيل المقابلة نفسها.

ماذا يقيس الندم

في الصياغة المعتادة لمسألة التحسين تكون دالة الخسارة كلها معروفة مسبقًا. أما في OCO فالأمر مختلف. ففي كل خطوة تختار الخوارزمية نقطة، وبعد ذلك فقط تكشف البيئة دالة الخسارة المحدبة. ويُقاس الأداء بالندم: مجموع خسائر الخوارزمية ناقص مجموع خسائر أفضل حل ثابت، وهو حل يمكن اختياره بأثر رجعي.

يتمثل الإنجاز الرئيسي للمجال في إمكانية جعل الندم دون خطي. عندئذ يقترب متوسط خسائر الخوارزمية من خسائر أفضل خيار ثابت، ومن دون أي افتراضات إحصائية حول البيانات. وقد أظهر بحث مارتن زينكيفيتش الكلاسيكي عام 2003 أن الانحدار التدرجي المتصل يعطي ندمًا من رتبة √T على الدوال المحدبة ذات الخاصية الليبشيتزية. وشكّل ذلك نقطة الانطلاق.

من Online Newton Step إلى المحسّنات التكيفية

نحو عام 2006 اقترح إيلاد هازان وAmit Agarwal وساتيين كيل خوارزمية Online Newton Step. وهي تعطي، للدوال المسماة exp-concave، ندمًا من رتبة log T، أي أفضل بوضوح من √T. وتقوم الفكرة على استخدام معلومات الرتبة الثانية: تُضبط الخطوة بما يلائم هندسة التدرجات المتراكمة.

ثم قاد هذا الخط إلى أساليب يعرفها كل من أجرى تدريبًا:

• AdaGrad (Duchi وHazan وSinger، 2011): مقياس خطوة مستقل لكل معامل. يعمل جيدًا مع الخصائص المتناثرة.
• RMSProp وAdam (2014): خلفان عمليان للفكرة نفسها، يعتمدان على المتوسط الأسي للتدرجات.
• تحليل الندم معيارًا للإثبات: بُني التسويغ الأصلي لتقارب Adam داخل إطار OCO تحديدًا.

وهناك حادثة دالّة في هذا السياق. ففي عام 2018 أظهرت ورقة «On the Convergence of Adam and Beyond» (Reddi وزملاؤه، ICLR) أن البرهان الأصلي الخاص بـ Adam يحتوي على خطأ، وأن الطريقة قد لا تتقارب في بعض المسائل المحدبة. أما التصحيح، AMSGrad، فصيغ هو الآخر بلغة الندم. فالنظرية لم تكتفِ بوصف الممارسة، بل كشفت أخطاءها.

لماذا يهم ذلك الآن

تُدرَّب النماذج اللغوية الكبيرة عادةً بمتغيرات من Adam، وأكثرها شيوعًا AdamW. والمسألة هنا غير محدبة، ولذلك لا تنتقل ضمانات OCO إليها مباشرة. لكن الحدس ينتقل: الخطوات التكيفية، والمُكيِّف المسبق (preconditioning)، ومراعاة الانحناء. وتواصل الأبحاث الحديثة في المحسّنات ذات المُكيِّفات المسبقة المصفوفية الخط نفسه، إذ يفسح التكيف القطري في AdaGrad المجال لبنية أغنى.

ويرتبط فرع مستقل بالتعلم المتصل في صورته الخالصة. فتقليل الندم أساس خوارزميات الألعاب وأنظمة التوصية والتسعير الديناميكي وتوزيع الموارد. وفي هذه المسائل يكون المستقبل مجهولًا حقًا، ولا يُشترط أن تكون البيانات مستقلة.

ما الذي يمكن أخذه من هذا عمليًا

إذا كنت تدرّب النماذج أو تُجري عليها تدريبًا إضافيًا، فمن المفيد أن تعرف من أين جاءت المعاملات الفائقة للمحسِّن. فإبسيلون ومعاملات بيتا وجدول الخطوة ليست عشوائية، بل لها معنى نظري. ويساعد ذلك في تشخيص التدريب غير المستقر: فالتباعد كثيرًا ما يرتبط بأن المتوسط التكيفي «ينسى» التدرجات النادرة لكن الكبيرة، وهذا يتفق تمامًا مع المثال المضاد الخاص بـ Adam.

أما من يبنون أنظمة تعتمد قرارات متتابعة (التوصيات، والمزايدة في المزادات الإعلانية، وتوجيه الطلبات بين النماذج)، فيمنحهم OCO إطارًا جاهزًا. فهو يتيح مقارنة الخوارزميات بمعيار مرجعي نزيه، والحصول على ضمانات دون افتراضات حول التوزيع. وللدخول إلى الموضوع يصلح كتاب هازان «Introduction to Online Convex Optimization». ويستحق النص الكامل للمقابلة على موقع Jiqizhixin أن يُقرأ بلغته الأصلية: فخلف العنوان عن «لا ندم» تكمن، بحسب ما يوحي به الإعلان، قصة شخصية لعشرين عامًا من تطور هذا الأسلوب.