Nanbeige4.3-33B تلحق بـ Qwen3.8 27B في المؤشر وتتفوق في Terminal-Bench: 30% مقابل 6%

عادةً ما يضطر المرء إلى اختيار النموذج المفتوح بالاعتماد على رقم واحد من التصنيف، لكن هذا الرقم قد يكون مضللًا إلى حد كبير. تخيّل أنك تبني وكيلًا يشغّل السكربتات بنفسه في الطرفية، فتختار نموذجًا بدرجة عامة مرتفعة، ثم يتبيّن أنه يؤدي أداءً ضعيفًا في سطر الأوامر تحديدًا. يعرض تحليل حديث من Artificial Analysis حالة من هذا النوع: فقد حصل Nanbeige4.3-33B وQwen3.8 27B على 20 نقطة لكلٍّ منهما في المؤشر المجمّع Intelligence Index v5 (الذي يضم تسعة اختبارات)، لكن في Terminal-Bench 4.0، حيث يحل النموذج مهام داخل الطرفية، يسجل Nanbeige نسبة 30% بينما لا يتجاوز Qwen نسبة 6%. أما في أسئلة مستوى الخبراء فالصورة معكوسة. والخلاصة العملية: لا تنظر إلى الدرجة العامة، بل إلى الاختبار الأقرب إلى مهمتك.

ما هذا النموذج

Nanbeige هو فريق الأبحاث في BOSS Zhipin، وهي منصة صينية للبحث عن الوظائف تطورها شركة Kanzhun. وNanbeige4.3-33B نموذج كثيف (dense) يعتمد على الاستدلال، ويضم 33 مليار معامل. يعمل بترخيص Apache 2.0، ويقتصر الإدخال والإخراج فيه على النص فقط، وتبلغ نافذة السياق 524 ألف توكن. وبحسب تقييم Artificial Analysis، فإن حجم النموذج صغير بما يكفي لتشغيله محليًا على حاسوب محمول، وإن كان من المرجح عمليًا أن يتطلب ذلك ضغط الأوزان (التكميم) وسعة ذاكرة كافية.

للمقارنة: حصل Muse Glimmer (high, 30B) على 6 نقاط فقط في المؤشر نفسه. أما Nanbeige4.3-33B وQwen3.8 27B، وكلاهما كثيف، فيحددان نقطة مثلى جديدة وفق باريتو في المعادلة «درجة المؤشر مقابل عدد المعاملات»: أي أنه لا يوجد حتى الآن توازن أفضل عند هذا الحجم. لكن النماذج ذات بنية MoE (حيث يعمل جزء فقط من المعاملات لكل توكن) تتقدم أكثر: فقد حصل DeepSeek V4.1 Flash 1017 (max) على 33 نقطة بإجمالي 552 مليار معامل و16 مليار معامل نشط لكل توكن.

الدرجة نفسها، ونقاط القوة مختلفة

أهم ما في التقرير هو التفاوت بين الاختبارات الفردية. يتفوق Nanbeige في ما يلي:

• Terminal-Bench 4.0 (مهام سطر الأوامر): 30% مقابل 6% لدى Qwen؛
• CritPt v2، الجزء الصعب (مسائل فيزيائية): 16% مقابل 4%؛
• AutomationBench-AA (أتمتة سير العمل): 53% مقابل 48%.

ويتقدم Qwen حيث تلزم المعرفة والدقة في التعامل مع الشيفرات والمستندات:

• AA-Briefcase v1.1: 1391 Elo لدى Qwen مقابل 1162 لدى Nanbeige؛
• FrontierCode 2.0: 15% مقابل 11%؛
• HLE-Diamond (أسئلة مستوى الخبراء): 15% مقابل 7%.

والنتيجة أن Nanbeige أقرب إلى منفّذ للمهام في الطرفية والأتمتة، بينما يبدو Qwen محاورًا أوسع معرفة.

نموذج حذر وكلفة في التوكنات

في اختبار AA-Omniscience v1.1، الذي يقيس المعرفة والميل إلى اختلاق الإجابات، حصل Nanbeige على −4 نقاط، وQwen على −6. ويهلوس Nanbeige بدرجة أقل بوضوح: 18% مقابل 29%. والسبب بسيط: فالنموذج لا يقدم على الإجابة إلا عن 29% من الأسئلة (مقابل 43% لدى Qwen)، ويمتنع عن الإجابة عن الـ 71% المتبقية. ولهذا يقدم إجابات صحيحة أقل: 12% مقابل 17%.

إذا كانت الإجابة الخاطئة في منتجك أكثر كلفة من الصمت (كالدعم الفني أو البحث في المستندات الداخلية أو المسودات القانونية)، فقد يكون هذا السلوك ميزة. أما إذا كان المستخدم ينتظر إجابة أيًا كانت، فهو أقرب إلى عيب.

وهناك أيضًا عيب يتعلق بالتكلفة. فعلى المهمة الواحدة في المؤشر، يستهلك Nanbeige في المتوسط 158 ألف توكن إخراج مقابل 110 آلاف لدى Qwen، أي أكثر بنسبة 44% مع الدرجة العامة نفسها. ويشمل الحساب الإجابة والاستدلال معًا، بما في ذلك خطوات الوكيل التي تستدعي الأدوات. وعند التشغيل المحلي يعني ذلك انتظارًا أطول، وعند الدفع بحسب التوكنات يعني فاتورة أعلى.

ماذا تفعل بهذه المعلومات

أولًا، لا توجد حتى الآن واجهة API عامة للنموذج، لا من الفريق نفسه ولا من مزوّدين خارجيين. ولا يمكن تجربته إلا على عتادك الخاص، لذلك فإن جمهوره هم الهواة والفرق التي تمتلك بنية تحتية خاصة بها.

ثانيًا، إذا كنت تبني وكيلًا للطرفية والسكربتات وأتمتة المهام الروتينية، فمن المجدي اختبار Nanbeige4.3-33B على مهامك. وإذا كنت تحتاج مساعدًا للشيفرات المعقدة أو للأسئلة التي تتطلب سعة معرفة، فيبدو Qwen3.8 27B أكثر موثوقية.

ثالثًا، قدّر مسبقًا ميزانية التوكنات وزمن الاستجابة، وفكّر فيما ستفعله حين يمتنع النموذج عن الإجابة: إعادة صياغة السؤال، أو تحويله إلى نموذج آخر، أو إحالته إلى إنسان. ويسمح ترخيص Apache 2.0 بإعادة التدريب والاستخدام التجاري دون شروط خاصة.