NVIDIA تطلق Nemotron 3 Nano 4B — نموذج هجين مدمج للتشغيل على الأجهزة

فتحت NVIDIA الوصول إلى Nemotron 3 Nano 4B، وهو نموذج لغوي مدمج بحجم 4 مليارات معامل، صُمم خصيصًا للنشر على الأجهزة الطرفية (edge) من نوع Jetson وRTX GPU وDGX Spark. وهو أول نموذج 4B من NVIDIA يقوم على معمارية Mamba-Transformer الهجينة، مع التركيز على أقل استهلاك للذاكرة وسرعة استدلال عالية.

معمارية هجينة من الجيل الجديد

يقوم Nemotron 3 Nano 4B على بنية من 42 طبقة: 21 كتلة Mamba، و4 كتل Attention، و17 كتلة MLP. وهذه النسبة غير معتادة بين النماذج اللغوية بهذا الحجم، إذ يعتمد معظم المنافسين على المحوّلات (Transformers) وحدها. وتعالج طبقات Mamba التسلسلات الطويلة بتعقيد خطي، لا تربيعي، من حيث الذاكرة، وهذا هو المصدر الرئيسي للكفاءة. أما كتل Attention فموزعة بصورة مدروسة، وتحافظ على الدقة حيث يلزم الفهم الشامل للسياق.

مقارنةً بالنموذج الأم Nemotron Nano 9B v2، خُفّض بُعد التضمينات (embeddings) من 4 480 إلى 3 136، وعدد رؤوس Mamba من 128 إلى 96، وعدد الطبقات من 56 إلى 42. والنتيجة: أدنى حجم VRAM في فئة 4B عند الاختبار على RTX 4070، وزمن استجابة قياسي في الانخفاض لـ Time-to-First-Token مع التسلسلات المدخلة الطويلة.

أربع مراحل للتدريب

لا يُعد Nemotron 3 Nano 4B نسخة مقصوصة من 9B فحسب، بل نموذج له مسار تدريب خاص من أربع مراحل.

الأولى هي الضغط عبر Nemotron Elastic: إذ حدد بحث معماري عصبي (NAS) مع موجّه (router) مدرَّب المواضع التي تُقصّ فيها شبكة 9B. وعمل الموجّه على أربعة محاور: رؤوس Mamba، والبعد المخفي، وقنوات FFN، وعمق النموذج.

الثانية هي التقطير (distillation) لاستعادة الدقة:

• السياق القصير (8K، 63B رمز): 70% من بيانات ما بعد التدريب (post-training) + 30% من بيانات التدريب المسبق (pretraining)
• السياق الطويل (49K، 150B رمز): توسيع النافذة لمهام الاستدلال المعقدة

الثالثة هي الضبط الدقيق الموجَّه (SFT): مرحلتان تشملان الرياضيات والبرمجة والعلوم والمحادثة والمهام الوكيلية (agentic) والأمان.

الرابعة هي التعلم المعزز (reinforcement learning) على ثلاث مراحل عبر NeMo-RL: من اتباع التعليمات في دورة واحدة، إلى اتباعها في دورات متعددة مع مخرجات JSON/XML، ثم إلى استدعاء الدوال عبر الأدوات. وتبلغ نسبة بيانات الاستدلال (reasoning) إلى غير الاستدلال (non-reasoning) 50/50 مع تشديد تدريجي لعقوبة KL.

الأرقام المهمة

على Jetson Orin Nano وبصيغة GGUF ذات 4 بت (Q4_K_M)، يولّد النموذج 18 رمزًا/ثانية، أي ضعف سرعة Nemotron Nano 9B v2 على العتاد نفسه. ويحافظ تكميم FP8 عبر ModelOpt على 100% من الدقة الوسيطة (median accuracy)، مع تسريع الاستدلال بمقدار 1,8× مقارنةً بـ BF16.

«FP8 quantization achieved 100% median accuracy recovery with up to

1.8X latency/throughput improvement over BF16» — من الوثائق التقنية لـ NVIDIA.

وفي أبرز اختبارات الأداء (benchmarks) يتصدر النموذج منافسيه في فئته:

• IFBench وIFEval — اتباع التعليمات
• Orak — الذكاء في الألعاب: Super Mario وDarkest Dungeon وStardew Valley
• Tool-use — استدعاء الأدوات وتجنب الهلوسة
• TTFT — أقل زمن استجابة مع التسلسلات المدخلة الطويلة

يتوفر النموذج بثلاث صيغ: BF16 (دقة كاملة)، وFP8 (محسّن لـ RTX ووحدات GPU الخادمية)، وGGUF Q4_K_M (لـ Jetson وLlama.cpp). وتدعم المحركات vLLM وTRT-LLM وHugging Face Transformers.

ماذا يعني ذلك

يغيّر نموذج 4B بتفوق في السرعة يبلغ الضعف على 9B على Jetson معادلة الذكاء الاصطناعي الطرفي: فالروبوتات وإنترنت الأشياء (IoT) والوكلاء المحليون وشخصيات الألعاب غير اللاعبة (NPC) تحصل على أداة بمستوى صناعي دون عتاد باهظ الثمن ودون إرسال البيانات إلى السحابة. وتتيح الأوزان المفتوحة إعادة تدريب النموذج لمجال محدد دون قيود ترخيصية.