Epoch

Epoch هي دورة واحدة كاملة لمجموعة بيانات التدريب بالكامل من خلال نموذج التعلم الآلي. عادة ما يتم تدريب النماذج لعدة حقب، وتحسن كل دورة أوزان النموذج من خلال الانتشار العكسي المطبق على كل عينة تدريب.

في التعلم الآلي، حقبة (Epoch) هي تكرار واحد كامل على مجموعة البيانات التدريبية الكاملة. خلال حقبة واحدة، يتم تقديم كل عينة في مجموعة التدريب للنموذج مرة واحدة بالضبط—عادة في مجموعات صغيرة مخلوطة—ويتم تحديث معاملات النموذج من خلال الانتشار العكسي بعد كل مجموعة صغيرة. عدد الحقب هو معامل فوقي مهم يتحكم في إجمالي مدة التدريب.

خلال كل حقبة، يتم عادة خلط مجموعة البيانات وتقسيمها إلى مجموعات صغيرة (عادة 32–4,096 عينة حسب المهمة والأجهزة). يحسب النموذج تمريراً للأمام لتوليد التنبؤات ويحسب الخسارة مقابل الحقيقة الأرضية ويستخدم الانتشار العكسي لحساب التدرجات التي يطبقها محسّن (مثل Adam أو SGD) لتحديث الأوزان. بعد كل حقبة، يقيّم الممارسون عادة النموذج على مجموعة التحقق المحفوظة لمراقبة أداء التعميم.

يؤثر عدد الحقب بشكل مباشر على المقايضة بين الانحياز والتباين: القليل جداً من الحقب يترك النموذج غير متوافق (خسارة مستمرة عالية على كل من بيانات التدريب والتحقق)؛ الكثير جداً يمكن أن يسبب الإفراط في الملاءمة (تزيد خسارة التحقق بينما تستمر خسارة التدريب في الانخفاض). تقنيات مثل الإيقاف المبكر—إيقاف التدريب عندما تفشل خسارة التحقق في التحسن لعدد محدد من الحقب المتتالية—وجدولة معدل التعلم (تقليل معدل التعلم عند حدود الحقب) هي أدوات قياسية لإدارة هذه المقايضة.

بالنسبة لنماذج اللغات الكبيرة المدربة مسبقاً على مئات المليارات إلى تريليونات الرموز، يمكن أن تستغرق دورة واحدة فقط على المدونة الكاملة أسابيع إلى أشهر على آلاف وحدات معالجة الرسومات، وتكمل العديد من عمليات التدريب أقل من حقبة واحدة كاملة على مجموعة البيانات الخاصة بها. عادة ما يقوم الضبط الدقيق للنماذج الأصغر على مجموعات بيانات محددة للمهام من 1 إلى 10 حقب. تتعامل أطر العمل مثل PyTorch Lightning و Hugging Face Trainer مع تسجيل الحقب تلقائياً وتسجل مقاييس التحقق بعد كل حقبة كتشخيص قياسي.