الإفراط في التدريب (Overfitting)

الإفراط في التدريب يحدث عندما يتعلم نموذج التعلم الآلي بيانات التدريب بإغلاق شديد — بما في ذلك الضوضاء والخصوصيات — مما يؤدي إلى دقة عالية على أمثلة التدريب لكن تعميم ضعيف للبيانات غير المرئية.

الإفراط في التدريب هو نمط فشل يلتقط فيه النموذج أنماطًا إحصائية محددة لمجموعة التدريب الخاصة به بدلاً من توزيع البيانات الأساسي الذي ينتج البيانات. النموذج بفعالية يحفظ أمثلة التدريب بدلاً من تعلم ميزات قابلة للنقل، لذا تكون خسارة التدريب منخفضة جدًا بينما تكون خسارة التحقق أو الاختبار أعلى بكثير. هذه الفجوة بين أداء التدريب والأداء المحتفظ بها هي البصمة التشخيصية للإفراط في التدريب.

الإفراط في التدريب أكثر احتمالية عندما تكون سعة النموذج — عدد المعاملات أو التعبيرية لفئة الدالة — مرتفعة بالنسبة إلى مقدار بيانات التدريب. شبكة عصبية عميقة بملايين المعاملات مدربة على مجموعة بيانات صغيرة يمكنها ملاءمة أمثلة التدريب بالضبط بينما تؤدي أداء قريبة من الصدفة على مدخلات جديدة. توازن التحيز والتباين يرسمي هذا: النماذج عالية السعة لها انحياز منخفض (يمكنها تمثيل دوال معقدة) لكن لها تباين عالي (مخرجاتها حساسة للعينة التدريب المحددة المستخدمة).

تشمل التدابير المضادة القياسية تقنيات التنظيم مثل تحلل الأوزان L2 والانقطاع والتطبيع الدفعي؛ زيادة البيانات لتوسيع التنوع التدريبي بشكل اصطناعي؛ الإيقاف المبكر بناءً على خسارة مجموعة التحقق؛ وتقليل حجم النموذج. التحقق المتقاطع هو الأداة التشخيصية القياسية للكشف عن الإفراط في التدريب قبل النشر.

ظهر فارق دقيق مهم من عصر التعلم العميق: نماذج كبيرة جدًا أحيانًا تظهر "النزول المزدوج"، حيث يرتفع خطأ الاختبار في البداية مع تعقيد النموذج (الإفراط في التدريب الكلاسيكي) لكن ينخفض مرة أخرى عند أعداد معاملات عالية جدًا. نماذج الأساس بمئات المليارات من المعاملات المدربة على مجموعات بيانات بحجم الإنترنت غالبًا ما تعمم بشكل جيد رغم كونها قادرة على الحفظ شبه الدقيق، مما يطعن في الحدس الكلاسيكي. فهم الظروف التي تثبط الحجم الإفراط في التدريب يبقى سؤالاً بحثيًا نشطًا اعتبارًا من 2026.