تقليص Nemotron 3.5 Bolt إلى 24 غيغابايت: نموذج 74B يولّد 84 توكن في الثانية

نشر باحثون على arXiv وصفًا لنموذج Nemotron 3.5 Bolt 74B-A9B 24GB، وهو نموذج هجين من Mamba وTransformer يدعم الصور. هدفه تحقيق أقصى سرعة وجودة لكل غيغابايت من الذاكرة في سيناريوهات الوكلاء المحليين. يضم النموذج 74 مليار معلمة، منها 9 مليارات نشطة عند توليد كل توكن، ويتّسع الحزمة كاملةً في 24 غيغابايت. ويولّد 84 توكن في الثانية على RTX Spark. ويرى المؤلفون أن هذه السرعة أكثر من كافية لسلاسل المهام الوكيلة الطويلة. عمل على البحث 109 أشخاص، وسُجّلت النسخة التمهيدية (preprint) تحت الرقم 2610.33039.

من 120 مليارًا إلى 24 غيغابايت: كيف ضُغط Super VL

لم يُدرَّب Bolt من الصفر، بل اشتُق من عائلة Nemotron 3.5 Super VL 120B-A12B، وجرى الضغط على خطوتين.

تسمى الخطوة الأولى Star Elastic compression. وهي تقلّص البنية نفسها: من 120 مليار معلمة إجمالية بقي 74 مليارًا (أقل بنحو 38%)، وانخفضت المعلمات النشطة من 12 مليارًا إلى 9 مليارات (أقل بنسبة 25%).

الخطوة الثانية هي 2-bit Quantization-Aware Distillation. تُضغط الأوزان إلى بتّين، وتُستعاد الجودة عبر تقطير يتعلم فيه النموذج مع مراعاة التكميم منذ البداية. يوضح حساب تقريبي بسيط الحجم: 74 مليار معلمة بواقع 2 بت تعطي نحو 18,5 غيغابايت للأوزان وحدها. ويبقى ما تبقى من 24 غيغابايت للمكونات الأخرى والذاكرة العاملة. وهذا حساب مبني على الأرقام المعلنة، وليس قياسًا وارد في الورقة.

كما يخدم المخطط الهجين من Mamba وTransformer توفير الذاكرة وزيادة السرعة. ويقبل النموذج الصور مع النص، ولذلك يستطيع قراءة لقطات الشاشة لصفحات الويب والواجهات.

LiLiCorr و84 توكن في الثانية

حقّق الضغط الحجم المطلوب لكنه لم يحقق السرعة، فدرّب الفريق مسودّة تخمينية (speculative drafter) منفصلة باسم LiLiCorr. تقترح المسودّة عدة توكنات مسبقًا، ثم يتحقق النموذج الأساسي منها في تمريرة واحدة. صدر LiLiCorr مع النموذج، ويعدّه المؤلفون جزءًا من الوصفة لبلوغ السرعة المستهدفة.

النتيجة: 84 توكن في الثانية على RTX Spark. ويقارن المؤلفون هذا الرقم بنماذج عدد معلماتها النشطة أقل بكثير. وبالنسبة إلى وكيل يستدعي الأدوات مئات المرات ويتصفح الصفحات وينفّذ الأوامر في الطرفية، فالمهم هو السرعة المستقرة وليس الذروة في إجابة قصيرة.

ما المعروف عن Bolt

• الاسم: Nemotron 3.5 Bolt 74B-A9B 24GB، من عائلة Nemotron.
• البنية: هجين من Mamba وTransformer، نموذج رؤية ولغة (vision-language).
• المعلمات: 74 مليارًا إجمالًا، 9 مليارات نشطة.
• الذاكرة: 24 غيغابايت.
• النموذج الأصل: Nemotron 3.5 Super VL 120B-A12B.
• الضغط: Star Elastic compression.
• التكميم: 2-bit Quantization-Aware Distillation.
• المسودّ التخميني: LiLiCorr، يصدر مع النموذج.
• الملف التعريفي: الاستدلال، واستدعاء الأدوات الوكيلة، والعمل مع الويب والطرفية.
• الاختبارات: GDPVal v2 (القدرات الوكيلة العامة)، وBrowseComp (تصفح الويب)، وTerminal-Bench 2.1 (الطرفية).
• السرعة: 84 توكن في الثانية على RTX Spark.
• النشر: arXiv cs.CV، أُرسل في 15 أكتوبر 2026، 109 مؤلفين.

لمن صُمم النموذج

بحسب المؤلفين، يحقق Bolt نتائج أعلى من النماذج الرائدة ذات حجم الذاكرة والسرعة المماثلين. ينطبق ذلك على المهام الوكيلة العامة وتصفح الويب والعمل في الطرفية. وتجري المقارنة ضمن فئة «ما يتّسع في بطاقة رسومات استهلاكية واحدة»، حيث تكون البدائل عادةً إما أصغر وإما أبطأ. ولا توجد حتى الآن قياسات مستقلة، فهذه نتائج الفريق نفسه.

والخلاصة العملية للمطورين بسيطة. إذا كنتم تبنون وكيلًا محليًا يفتح المواقع بنفسه وينفّذ الأوامر ويحلل لقطات الشاشة، فإن 24 غيغابايت من الذاكرة و84 توكن في الثانية ينقلان هذا المخطط من مرحلة التجربة إلى مرحلة العمل. فالبيانات لا تغادر إلى السحابة، ويتحول سعر التوكن إلى تكلفة الكهرباء. وينبغي التحقق من ثلاثة أمور: كيف يتصرف التكميم بـ2 بت في مهامكم، ومدى تسريع المسودّ التخميني لسيناريوهاتكم تحديدًا، وهل تكفي الذاكرة المتبقية لسياق طويل. أما الوصفة نفسها فتستحق اهتمامًا خاصًا: ضغط نموذج كبير مع تقطير أثناء التكميم قد يصبح الطريق المعتاد من أوزان مراكز البيانات إلى النماذج المحلية.