عرضت NVIDIA خط أنابيب كامل لتحسين النموذج مع FastNAS pruning و fine-tuning

أطلقت NVIDIA دليلاً عملياً يُظهر الدورة الكاملة لتحسين شبكة عصبية على دفتر Google Colab واحد: من التدريب الأساسي إلى التقليم الهيكلي والتدريب الدقيق اللاحق. كمثال، تستخدم الشركة مكتبة NVIDIA Model Optimizer الخاصة بها، وقاعدة بيانات CIFAR-10، ونموذج ResNet20 لإظهار كيفية تقليل الحمل الحسابي للشبكة دون تحويل العملية إلى مجموعة من البرامج النصية المتفرقة والتجارب اليدوية. يبدأ الدليل بإعداد البيئة وتحضير تجربة قابلة للتكرار.

يتم تثبيت nvidia-modelopt وtorchvision وtorchprofile والمكتبات الإضافية، وتثبيت البذرة العشوائية ومعاملات التشغيل، ثم يتم تجميع وضع مبسط لكن وظيفي لـ Colab. يتم فيه تعيين حجم الدفعة على 256، ويتم تدريب النموذج الأساسي لمدة 20 حقبة، ومرحلة التدريب الدقيق بعد التقليم تستغرق 12 حقبة إضافية. لتسريع العملية، يتم استخدام مجموعات فرعية من CIFAR-10: 12 ألف صورة للتدريب، وألفا صورة للتحقق، و4 آلاف صورة للاختبار.

بعد ذلك، يحدد المؤلفون ResNet20 يدويًا في PyTorch مع كتل البقايا، وتهيئة الأوزان المخصصة، ومنطق اتصال الاختصار الصريح، أي أنهم يعرضون ليس صندوقًا أسود، بل بنية معمارية يمكن تكييفها بسرعة مع مهمتك الخاصة. يتم التركيز بشكل خاص على الهندسة المساعدة. للتدريب، يتم تطبيق تعزيزات قياسية، بما في ذلك الاقتطاع العشوائي 32x32 والقلب الأفقي، بينما يستخدم التقييم فقط التطبيع.

يتم بناء التدريب نفسه على SGD مع momentum 0.9 وweight decay 1e-4 وجدول معدل التعلم باستخدام cosine decay مع الإحماء. يحتوي الكود على دوال منفصلة لحقبة واحدة من التدريب والتحقق والاختبار وحفظ أفضل نقطة تفتيش حسب دقة التحقق.

هذه تفاصيل مهمة: NVIDIA تعرض ليس فقط تقنية الضغط نفسها، بل خط أنابيب قابل للتكرار بالكامل يمكنك من خلاله التحكم في جودة النموذج قبل وبعد التحسين، بدلاً من مجرد تشغيل التقليم كخدعة لمرة واحدة. المرحلة الرئيسية هي تقليم FastNAS. في المثال، يتم تعيين حد قدره 60 مليون FLOPs، ويتم ضبط تكوين البحث بحيث يبقى عدد الأقنية والميزات قابلاً للقسمة على 16.

يتم استخدام دقة التحقق كدالة الدرجة، وقبل التشغيل، يقوم المؤلفون بإصلاح التوافق مع torchprofile بشكل منفصل للعد الصحيح للـ FLOPs في Colab. بعد ذلك، يبني Model Optimizer شبكة فرعية خفيفة الوزن، ويحفظها، ويسمح باستعادة البنية المحسّنة للخطوة التالية. هنا يمكنك أن ترى بوضوح كيف تقدم NVIDIA Model Optimizer: ليس فقط كمكتبة للتقليم، بل كطبقة واحدة لتقنيات تحسين النموذج.

في الريبوزيتوري الرسمي، تصف الشركة أداة التحسين كمجموعة من الأدوات للتقليم والكمية والتقطير والندرة والطرق الأخرى التي يمكن بعد ذلك دمجها في بنية الاستدلال مثل TensorRT وTensorRT-LLM أو vLLM. بعد العثور على الشبكة الفرعية المحسّنة، يبدأ التدريب الدقيق. أولاً، يمر النموذج المقلم المستعاد عبر فحص متكرر، ثم يتم إعادة تدريبه بمعدل تعلم أكثر سلاسة، وأخيراً تتم مقارنة الدقة قبل التقليم والدقة بعد التقليم والدقة بعد التدريب الدقيق.

بالإضافة إلى ذلك، يتم حساب العدد الإجمالي للمعاملات وعدد الأوزان غير الصفرية والوقت المستغرق في كل مرحلة—التدريب الأساسي وبحث FastNAS واستعادة الجودة. يتم أيضاً حفظ جميع الحضائر الرئيسية: baseline state dict ونقطة تفتيش البحث والنموذج المقلم والإصدار المحسّن النهائي. للمهندسين الممارسين في مجال التعلم الآلي، هذا مقيم لأن السيناريو يمكن تكراره على بنيتك الخاصة بقليل من التغييرات ودمجه في عملية تحضير نموذج للاستدلال الأرخص والأسرع.

الخلاصة الرئيسية هي أن NVIDIA تجعل تحسين النموذج جزءاً من خط أنابيب التعلم الآلي القياسي، وليس مهمة منفصلة في المرحلة النهائية قبل النشر. هذا النهج مهم بشكل خاص الآن، عندما تؤثر تكاليف الحسابات وقيود الكمون ومتطلبات نشر النماذج بشكل متزايد على القرارات المعمارية بقدر الدقة نفسها. هذه المادة مفيدة بالذات لمنطقها التطبيقي: فهي توضح كيفية الانتقال من شبكة أساسية كثيفة إلى نسخة أكثر كفاءة في عملية قابلة للتكرار وقابلة للفهم يمكنك فعلاً تشغيلها حتى في Google Colab.