NVIDIA تُقلّص نموذج Nemotron من 120 إلى 74 مليار معامل ليتناسب مع 24 غيغابايت من ذاكرة الرسوميات

كيف تم تقليص النموذج دون فقدان قدراته

بدلًا من اختيار الأجزاء التي يجب حذفها من الشبكة العصبية يدويًا، استخدمت NVIDIA أداتها الخاصة Star Elastic — التي تحدد تلقائيًا عدد "الخبراء" (شبكات فرعية متخصصة تُفعَّل لمهام معينة) الذين يجب الاحتفاظ بهم في كل طبقة من النموذج، وأيها يجب التخلي عنه. تتم هذه العملية بالتوازي مع التدريب: يختبر "موجّه" خاص بدائل مختلفة للبنية، بينما يجري في الوقت نفسه تقطير للمعرفة — حيث يوجّه النموذج المعلّم الأصلي البالغ 120 مليار معامل النسخة المضغوطة نحو الإجابات الصحيحة، حتى لا تفقد قدراتها. وفي النهاية، انخفض عدد الخبراء النشطين لكل رمز من 22 إلى 9، وتقلّص حجم النموذج الكلي من 120 إلى 74 مليار معامل.

بعد هذا التقليص، أُعيد تدريب النموذج على مراحل: أولًا لاستعادة قدرته على فهم الصور (بإعادة ربط وحدة بصرية مُعاد تدريبها من النموذج الأصلي بالجزء النصي المضغوط)، ثم من خلال التعلم المعزز على مهام وكيلة حقيقية — استخدام الأدوات عبر بروتوكول MCP، والتعامل مع الطرفية، ومراجعة الشيفرة بروح معايير SWE. وهذا التدريب بالتحديد هو ما رفع النتيجة في معيار MCP-Atlas من 48 إلى 56 نقطة — أي أن النموذج أصبح أفضل بشكل ملحوظ في التعامل مع المهام متعددة الخطوات التي تتطلب استدعاء أدوات مختلفة بالتتابع.

التكميم إلى 2 بت — وكيف لم تتأثر الدقة

الرافعة الأساسية لتوفير الذاكرة ليست التقليص البنيوي، بل التكميم العدواني للأوزان. عادةً تُخزَّن النماذج بصيغة 16 بت (BF16)، لكن NVIDIA ضغطت معظم طبقات "الخبراء" إلى 2.0625 بت لكل معامل — أي أن كل قيمة في الشبكة العصبية تشغل الآن مساحة أقل بحوالي 8 مرات. وهذا قلّص حجم النموذج من 148 غيغابايت (بصيغة BF16 غير المضغوطة) إلى 22.1 غيغابايت، بتوفير نسبته 85%.

الاكتشاف الرئيسي للفريق: من الأفضل أخذ نموذج أكبر وضغطه بشدة أكبر، بدلًا من ضغط نموذج أصغر بدرجة أقل — فعند الحجم النهائي المتساوي، يكون الخيار الأول أدق. ولضمان عدم تراجع جودة الإجابات بسبب التكميم نفسه، استُخدم التقطير مباشرة أثناء عملية الضغط (Quantization-Aware Distillation): يوجّه النموذج المعلّم غير المضغوط النسخة المضغوطة لحظيًا للحفاظ على توزيعات الاحتمالات الصحيحة للكلمات. ولهذا، جرّب المؤلفون عدة دوال خسارة واستقروا على مقياس جاكار (الذي يقيس التداخل بين مجموعتين من الاحتمالات) — وهو الذي أعطى أفضل نتيجة لهذا المستوى من الضغط العميق. ولم تُضغَط جميع الطبقات بالطريقة نفسها: بعض الطبقات (مثل تلك المسؤولة عن معالجة السياق الطويل) أُبقيت بصيغة NVFP4، أما التضمينات وطبقة الإخراج فأُبقيت بصيغة 8 بت (Q8_0) حفاظًا على الدقة في المواضع الحساسة.

النتائج العملية

على RTX Spark، يُنتج النموذج 84 رمزًا في الثانية بفضل وحدة "مسودة" إضافية تُدعى LiLiCorr — وهي نموذج مساعد صغير يتوقع عدة كلمات تالية، بينما يتحقق النموذج الرئيسي منها فقط (ويُعرف هذا بالترميز التخميني، الذي يُسرّع التوليد دون فقدان الجودة). هذه السرعة تُقارن بنماذج تحتوي على معاملات نشطة أقل بكثير، لكن Nemotron 3.5 Bolt يتفوق عليها في الدقة في اختبارات المهام الوكيلة (GDPVal v2)، وتصفح الويب (BrowseComp)، والتعامل مع الطرفية (Terminal-Bench 2.1).

على تسعة معايير قياسية رئيسية، انخفض المعدل العام من 57.58 للنموذج بحجمه الكامل إلى 54.74 للنسخة المضغوطة — خسارة لا تتجاوز 4.94%، رغم أن النموذج أصبح أخف بـ 6.7 مرة من حيث الحجم (148 غيغابايت ← 22.1 غيغابايت). ولمطوّري وكلاء الذكاء الاصطناعي المحليين — أولئك الراغبين في تشغيل مساعد قوي على عتاد مدمج دون الاعتماد على السحابة — يُمثّل هذا أداة عملية: الأوزان متوفرة بصيغتي Hugging Face وGGUF، والنموذج مدعوم في llama.cpp وvLLM، ونشرت NVIDIA أيضًا وحدة LiLiCorr نفسها لتسريع الأداء.