NVIDIA Nemotron 3.5 Super VL: 120 مليار معامل، 12 مليارًا منها نشطة، والتشغيل على AWS

أطلقت NVIDIA النموذج متعدد الوسائط Nemotron 3.5 Super VL، وشرح فريق AWS كيفية تشغيله في عناقيد Kubernetes الخاصة. يضم النموذج 120 مليار معامل، لكن 12 مليارًا فقط تعمل لكل توكن (جزء من الكلمة). وهذه بنية mixture-of-experts: تضم الشبكة مجموعات من «الخبراء»، ويختار موجّه خاص لكل توكن عددًا قليلًا منهم فقط. وبذلك تعادل الحسابات المطلوبة ما يحتاجه نموذج صغير، لكن ذاكرة GPU تظل مضطرة إلى استيعاب كل الأوزان البالغ عددها 120 مليار. يفهم النموذج النصوص والصور والمستندات والفيديو، ويخرج نصًا. وهو مفتوح: تنشر NVIDIA الأوزان ومجموعات بيانات التدريب ووصفات الضبط الدقيق. وقد استُخلص النموذج بالتقطير (distillation) من Nemotron 3 Ultra الأكبر حجمًا، أي دُرّب على محاكاة سلوك «معلّم» كبير.

تتوافر على AWS بالفعل من عائلة Nemotron النماذج Nemotron 3 Nano وNano Omni وSuper وUltra وNemotron 3.5 Lightning. ويُضاف Super VL إلى هذه القائمة.

البنية الهجينة والنتائج المعلنة

تتناوب داخل النموذج ثلاثة أنواع من الطبقات: Mamba-2 والانتباه التقليدي (attention) وطبقات الخبراء. ويتولى مشفّر RADIO الرؤية. وتتمثل ميزة Mamba-2 في أنها تحتفظ أثناء التوليد بحالة ذات حجم ثابت. أما في الانتباه التقليدي فتنمو الذاكرة المخصصة لـKV-cache (تخزين السياق الذي قُرئ بالفعل) مع طول النص. لذلك يكلّف السياق الذي يصل إلى 1 مليون توكن أقل بكثير مما يكلّفه في transformer خالص. كما زُوّد النموذج برأس Multi-Token Prediction، وهو يتيح استخدام فك الترميز التخميني (speculative decoding): يقترح النموذج عدة توكنات للأمام دفعة واحدة، ثم يتحقق منها.

وتورد NVIDIA النتائج التالية (هذه بيانات الشركة نفسها، ولا توجد قياسات مستقلة في المادة):

• 63,44% على Hermes Bench، وهو اختبار للمهام الوكيلية (agentic)؛
• 87,05% على تقييمات الوكلاء في LangChain، أي على اختبارات العمل ضمن إطار شائع لبناء الوكلاء؛
• 80,8% على CharXiv، وهي مجموعة أسئلة عن الرسوم البيانية في الأوراق العلمية.

أما السيناريوهات المعلنة فهي: مراجعة الشيفرة وتصحيحها، والتحقق من المصادر بعد البحث على الويب، وقراءة الجداول والمخططات في المستندات، وتحليل الثغرات والتهديدات في الأمن السيبراني، والبحث عن الحوادث في الفيديو وتحليلها.

كم وحدة GPU تلزم وكيف يُبنى العنقود

فيما يلي الحد الأدنى من التهيئات لـvLLM (خادم الاستدلال):

• B200/GB200: 8 وحدات GPU بصيغة BF16، ووحدتان بصيغة NVFP4؛
• B300/GB300: 4 وحدات GPU بصيغة BF16، ووحدة واحدة بصيغة NVFP4؛
• H200: 8 وحدات GPU بصيغة BF16، و4 وحدات بصيغة NVFP4؛
• H100: 16 وحدة GPU بصيغة BF16، و8 وحدات بصيغة NVFP4.

NVFP4 صيغة أعداد بدقة 4 بت. وهي تضغط الأوزان بنحو أربعة أضعاف مقارنة بـBF16، ولذلك تحتاج إلى بطاقات أقل بمقدار الضعف إلى أربعة أضعاف. وعلى H100 تتطلب صيغة BF16 عقدتين، في كل منهما 8 وحدات GPU.

والبنية التقريبية التي تعرضها AWS كالتالي. يتولى مستوى التحكم في Kubernetes (control plane) إدارة الـAPI. وتستضيف عقد CPU الـpods الخدمية والاختبارية، بينما تشغّل عقد GPU النموذج. وتُحفظ صور الحاويات في Amazon ECR، وتُخزَّن الأوزان على وحدة تخزين مشتركة هي Amazon FSx for Lustre، وترتبط عقد GPU بشبكة Elastic Fabric Adapter (EFA). وملفات manifest الخاصة بـKubernetes واحدة في خيارات التنسيق الثلاثة: EKS العادي، وEKS Auto Mode (حيث تتولى AWS بنفسها إدارة التوسّع وتعريفات GPU وEFA)، وSageMaker HyperPod EKS. وقد اختُبرت هذه البنية على نسخ p6-b200.48xlarge (8 وحدات GPU من طراز B200) وp5en.48xlarge (8 وحدات GPU من طراز H200). ويوجد دليل خطوة بخطوة في مشروع aws-do-eks.

كيف يُخطَّط للقدرة الاستيعابية وفق منحنيات التأخير

يخدم النموذجَ خادمُ NVIDIA Dynamo. ويعمل بنمطين: على عقدة واحدة بالكامل، أو بشكل مقسَّم تجري فيه مرحلتا prefill (قراءة الـprompt) وdecode (توليد الإجابة) على عقد مختلفة. وفي النماذج التي تعالج الرؤية يمكن أيضًا إسناد ترميز الصور والفيديو إلى عقدة مستقلة.

يُفحص العنقود أولًا باختبار مصغّر هو NCCL all-reduce. فإذا كانت جميع وحدات GPU محمّلة أثناء الاختبار وكانت الحركة تمر عبر جميع محوّلات EFA، فهذا يعني أن الشبكة مضبوطة بشكل صحيح. بعد ذلك تقيس أداة aiperf ما يلي:

• TTFT، أي الزمن حتى أول توكن؛
• ITL، أي الفاصل بين التوكنات؛
• TPS، أي إجمالي معدل المعالجة بالتوكن في الثانية.

تُكرَّر القياسات عند أعداد مختلفة من الطلبات المتزامنة (concurrency sweep). وتعرض AWS مثالًا على التخطيط. نحدد الحدود: TTFT حتى 600 مللي ثانية، وITL حتى 100 مللي ثانية لكل توكن. ثم نبحث عن أقصى نقطة يمينية في الرسم البياني تقع ضمن الحدّين معًا. في المثال هي 32 طلبًا متزامنًا ونحو 320 توكن في الثانية لكل نسخة (replica)، أي لكل زوج prefill-decode. وبعد ذلك يصبح الأمر حسابيًا: نقسم معدل المعالجة المستهدف على 320 فنحصل على عدد الأزواج.

وعلى عقدتين، حقق النمط المقسَّم TTFT أقل من النمط المدمج، وبقي ITL تقريبًا كما هو. وارتفاع ITL يدل على الحاجة إلى زيادة قدرة decode، وارتفاع TTFT يدل على الحاجة إلى زيادة قدرة prefill.

الخلاصة العملية للمهندسين: تكفي للنموذج المكمَّم بطاقة B300 حديثة واحدة، والأفضل الاختيار بين النمطين وفق قياساتكم الخاصة، مع إعادة الاختبار بعد تغيير الدقة أو مخطط التوازي أو إصدار Dynamo وvLLM. أما أرقام الجودة فلا تزال معلنة من NVIDIA نفسها، والمادة جزء من وثائق AWS الشريكة. ويُستحسن مقارنة النموذج بمنافسيه على مهامكم أنتم.