كيف تساعد خوارزمية ADWIN والتعلّم عبر الإنترنت النماذج على مواجهة انحراف البيانات

قد يحقق نموذج تعلّم الآلة مقاييس ممتازة في الاختبارات ثم يفقد دقته بسرعة في بيئة الإنتاج (production) عندما يتغيّر سلوك المستخدمين أو الطلب أو السوق. تُسمّى هذه الظاهرة الانحراف المفاهيمي (concept drift)، ويتناول مقال على Habr كيفية التصدي لها عبر الجمع بين التعلّم عبر الإنترنت وخوارزمية ADWIN.

ما هو الانحراف المفاهيمي

الانحراف المفاهيمي هو الحالة التي تتوقف فيها الأنماط الإحصائية التي تدرّب عليها النموذج عن مطابقة الواقع بمرور الوقت. فالنموذج الذي حقق دقة عالية على البيانات التاريخية يبدأ بالخطأ، لا لأن تدريبه كان سيئًا، بل لأن العالم الذي يصفه قد تغيّر: المستخدمون يتصرفون بشكل مختلف، والطلب يتحوّل، والسوق يستجيب لعوامل جديدة.

• المشكلة: يفقد النموذج دقته في بيئة الإنتاج بينما تبقى مقاييس الاختبار على حالها
• السبب: تغيّر سلوك المستخدمين أو الطلب أو ظروف السوق بمرور الوقت
• نقطة ضعف النهج التقليدي: غالبًا ما تأتي إعادة التدريب وفق جدول زمني متأخرة عن اللحظة التي بدأ فيها الانحراف فعلًا
• الحل المقترح: الجمع بين التعلّم عبر الإنترنت وخوارزمية ADWIN

لماذا لا تكفي إعادة التدريب وفق جدول زمني

النهج المعتاد هو إعادة تدريب النموذج دوريًا من جديد على بيانات حديثة وفق جدول ثابت. غير أن جدول إعادة التدريب يُحدَّد مسبقًا ولا يرتبط باللحظة الفعلية التي بدأت فيها البيانات بالتغيّر. وقد يعمل النموذج بـ«معرفة قديمة» من دورة إعادة تدريب إلى التي تليها، فتتراجع دقته تحديدًا حين تتسارع التغيّرات بوتيرة تفوق ما يتوقعه الجدول.

كيف يساعد الجمع مع ADWIN

ADWIN (ADaptive WINdowing) خوارزمية تراقب إحصاءات تدفق البيانات الواردة ضمن نافذة منزلقة، وتُصدر إشارة عندما يتغيّر توزيع البيانات بدلالة إحصائية. وعند دمجها مع التعلّم عبر الإنترنت، الذي يُدرَّب فيه النموذج تدريجيًا على الأمثلة الجديدة بدلًا من إعادة تدريبه من الصفر، يمكن تكييف النموذج مع البيانات الجديدة دون التخلي الكامل عن المعرفة المتراكمة. أي أن النموذج يستجيب للانحراف بعد اكتشافه مباشرة تقريبًا، بدلًا من انتظار دورة إعادة التدريب المجدولة التالية.

ما الفرق عن إعادة التدريب التقليدية

يكمن الفرق بين النهجين في سرعة الاستجابة وحجم المعرفة المفقودة. فعند إعادة التدريب من الصفر يبدأ النموذج عمليًا من جديد على شريحة بيانات حديثة، وتضيع كل المعرفة التي اكتسبها من أنماط أقدم لكنها لا تزال ذات صلة. أما التعلّم التدريجي عبر الإنترنت المقترن بكاشف انحراف مثل ADWIN فيحافظ، على العكس، على المعرفة المتراكمة، ويكتفي بتعديل النموذج استجابةً لتغيّر إحصائي مؤكَّد. وهذا يقلّل التكاليف الحسابية الناتجة عن إعادة التدريب المستمرة، ويقصّر في الوقت نفسه المدة التي يبقى فيها النموذج في حالة «المعرفة القديمة».

ما معنى ذلك

بالنسبة إلى الفرق التي تُشغّل نماذج تعلّم الآلة في بيئة الإنتاج، يمثل الانحراف المفاهيمي مصدرًا دائمًا لتدهور صامت في الجودة، لا تكشفه مقاييس مجموعة الاختبار. ويشكّل الجمع بين التعلّم عبر الإنترنت وكشف الانحراف بواسطة ADWIN وسيلة عملية لتقليص الفجوة بين لحظة تغيّر البيانات ولحظة أخذ النموذج هذا التغيّر في الحساب، دون الحاجة إلى تشغيل دورة إعادة تدريب كاملة منفصلة عند كل تغيّر طفيف في بيئة الإنتاج.