Habr AI: نموذج فوقي لتشخيص تدريب الشبكات العصبية يكتشف الأعطال من خلال منحنيات التعلّم

وصفت Habr AI نموذج فوقي تجريبي يحاول فهم ما يحدث تلقائياً أثناء تدريب الشبكة العصبية. بدلاً من مراجعة منحنيات التعلم يدويًا، يقترح المؤلف مصنفًا منفصلاً قادرًا على التعرف على نقص التدريب والإفراط في التدريب ومشاكل البيانات بناءً على المقاييس وشكل المنحنيات.

لماذا هذا مهم

عادة، ينظر المهندس إلى دقة التدريب والتحقق، ويقارن الفجوة بينهما، ويحاول تحديد ما إذا كان هناك تقدم أم يجب إيقاف التدريب. يعمل هذا النهج طالما توجد تجارب قليلة، لكنه يصبح روتينياً بسرعة عند تشغيل عشرات النماذج ومتابعة سيناريوهات مختلفة. ينطلق المؤلف من فكرة بسيطة: إذا استطاع الإنسان قراءة منحنيات التعلم وملاحظة الأنماط النموذجية، فيمكن تدريب نموذج منفصل للقيام بالشيء نفسه.

تدريب النموذج → منحنيات التعلم → الميزات → المصنف الفوقي → إيقاف في

اللحظة المثالية. الفكرة هي أن النموذج الفوقي يحلل ليس الصور أو النصوص الخام، بل حالة النموذج الأساسي في لحظة محددة أثناء التدريب.

الفائدة المحتملة واضحة: إيقاف التشغيل غير الواعد مبكراً، اكتشاف الإفراط في التدريب بشكل أسرع، وتجنب إهدار الحقب على ما لا يعطي بعد الآن مكاسب كبيرة. ومع ذلك، يلاحظ المؤلف نفسه بصراحة أن مسألة الكفاءة في الإنتاج والقابلية للنقل إلى مهام مختلفة تبقى مفتوحة: هذه بالضبط فرضية عمل، وليست معياراً صناعياً جاهزاً.

كيفية بناء مجموعة البيانات

لتدريب مثل هذه الطبقة التشخيصية، قام المؤلف أولاً بإنشاء مجموعة بيانات منفصلة من التجارب بناءً على MNIST. تم استخدام الانحدار اللوجستي، MLPs الصغير والكبير، وشبكتا CNN بأحجام مختلفة كنماذج أساسية. تم إجراء ما مجموعه 270 عملية تشغيل وتقييمها ليس فقط في النهاية بل أيضاً في مراحل وسيطة بعد 1 و 5 و 6 و 11 و 16 و 21 و 26 حقبة. هذا مهم: يجب على المصنف الفوقي التعرف على المشاكل ليس بأثر رجعي، بل أثناء التدريب.

تم تغيير عدة شروط في كل تشغيل:

• حجم مجموعة التدريب
• البذرة العشوائية
• وجود عدم التوازن في الفئات الاصطناعية
• نوع تحول البيانات في الاختبار، بما في ذلك الضوضاء والعكس

لكل نقطة، حفظ المؤلف دقة التدريب والتحقق والاختبار، والفجوة بين التدريب والتحقق، وسجل منحنى التحقق ورقم الحقبة. تم بعد ذلك وضع علامات على البيانات بعلامات تشخيصية بناءً على قواعد بسيطة: نقص التدريب إذا كانت دقة التدريب أقل من 0.7؛ الإفراط في التدريب إذا تجاوزت الفجوة 0.15؛ تحول البيانات إذا كانت دقة التحقق أعلى بشكل ملحوظ من دقة الاختبار. هذه القواعد تبسط المهمة ولا تدعي أن تكون عالمية، لكنها توفر مجموعة أولية من العلامات للتجربة.

ما أظهرته الاختبارات

الاهتمام الخاص في العمل هو مجموعة الميزات. بدلاً من الرسوم البيانية الخام، استخرج المؤلف عدة خصائص مضغوطة من منحنى التعلم: قيمة البداية، نقطة الوسط، نقطة النهاية، النمو الإجمالي والانحراف المعياري كمقياس للاستقرار. تم إطعام هذه الميزات، جنباً إلى جنب مع المقاييس الأساسية، إلى مصنف متعدد العلامات عبر MultiOutputClassifier. من بين المرشحين المختبرين كانت هناك Random Forest و XGBoost والانحدار اللوجستي ومجموعة من النماذج للمقارنة بين أي خوارزمية تلتقط بشكل أفضل ديناميات التدريب. أظهرت Random Forest أفضل النتائج.

في التصنيف المجمع، حقق النموذج حوالي 0.89 micro F1 و 0.88 macro F1، وكان قوياً بشكل خاص في كشف نقص التدريب وتحول البيانات. كان لانحدار الاحتمالية أداء أقل من المتوقع، لأنه يكافح من أجل التقاط العلاقات غير الخطية بين شكل المنحنى وحالة التدريب. قامت المجموعة بتحسين النتيجة قليلاً جداً، وهذا أيضاً مكشوف: في هذه الإعدادات، تكون جودة الميزات والعلامات أكثر أهمية من مجرد تعقيد المصنف النهائي.

ما يعنيه هذا

فكرة النموذج الفوقي لتشخيص التدريب تبدو عملية: حتى في تجربة بسيطة، تظهر أن منحنيات التعلم لا يمكن فقط عرضها بصرياً بل يمكن أيضاً تشكيلها رسمياً. إذا صمدت النهج أمام الفحص على مجموعات بيانات أكثر تعقيداً وخطوط أنابيب ML الحقيقية، فيمكن أن تصبح أساساً للإيقاف المبكر الذكي والمراقبة التلقائية لجودة التدريب.