Moonshot تنشر Kimi Vendor Verifier: 6 اختبارات للتحقق من مزودي K2.6

مع نموذج Kimi K2.6، نشرت Moonshot AI في المصدر المفتوح أداة Kimi Vendor Verifier (KVV)، وهي مجموعة اختبارات تقيس مدى دقة محاكاة المزودين الخارجيين لسلوك النموذج. يستغرق التشغيل الكامل نحو 15 ساعة على خادمين، يضم كل منهما ثماني وحدات NVIDIA H20. أما النتائج المرجعية لواجهة Kimi API الرسمية فهي: 91.0 في OCRBench، و98.4 في AIME2025 (avg@32)، و78.8 في MMMU Pro Vision. ويستطيع أي طرف الآن مقارنة نشره الخاص بهذه الأرقام.

من أين جاءت المشكلة

بعد صدور K2 Thinking، بدأت Moonshot تتلقى شكاوى متكررة من نتائج غريبة في الاختبارات المعيارية. وأظهر التحليل أن جزءًا ملحوظًا من الحالات يعود إلى معاملات فك ترميز خاطئة. وأقامت الشركة خط الدفاع الأول على مستوى API: ففي وضع Thinking تُفرض القيمتان Temperature=1.0 وTopP=0.95، كما يجري التحقق من أن محتوى «التفكير» يُعاد بشكل صحيح ضمن الطلب.

ثم ظهرت شذوذات أدق. ففي أحد اختبارات LiveBenchmark تخلّفت واجهة API خارجية بوضوح عن الواجهة الرسمية. وبيّن فحص مزودين مختلفين للبنية التحتية أن هذه الفجوة منتشرة في كل مكان. وخلاصة مدوّنة Moonshot أنه كلما كانت الأوزان أكثر انفتاحًا وقنوات النشر أكثر تنوعًا، صعبت السيطرة على الجودة. وإذا عجز المستخدم عن التمييز بين عيب في النموذج نفسه وخطأ في التنفيذ الهندسي، تنهار الثقة بالنماذج المفتوحة.

ست فحوصات

اختيرت المجموعة بحيث يرصد كل اختبار فئة محددة من الأعطال:

• Pre-Verification يتحقق من أن API تلتزم فعلًا بالقيود المفروضة على temperature وtop_p وغيرها من المعاملات. ولا يُنتقل إلى الخطوات التالية دون اجتياز هذه المرحلة.
• OCRBench يعمل كاختبار دخان سريع مدته خمس دقائق لخط المعالجة متعدد الوسائط.
• MMMU Pro يفحص المعالجة المسبقة للصور على مدخلات بصرية متنوعة.
• AIME2025 يتطلب توليدًا طويلًا. ويكشف هذا عن أخطاء في KV-cache وعن تراجع في الجودة بسبب التكميم (quantization)، وهي مشكلات لا تلحظها الاختبارات القصيرة.
• K2VV ToolCall يقيس استقرار تفعيل استدعاء الأدوات (F1) ودقة JSON Schema. وفي الوكلاء (agents) تتراكم أخطاء الأدوات، ولذلك يُستحسن رصدها مبكرًا.
• SWE-Bench يختبر البرمجة الوكيلية الكاملة. ولم يدخل في المصدر المفتوح لأنه يعتمد على بيئة معزولة (sandbox).

وتعمل Moonshot بصورة منفصلة مع مجتمعات vLLM وSGLang وKTransformers لمعالجة الأسباب الجذرية في محركات الاستدلال، لا الاكتفاء برصد الأعراض. كما تمنح الشركة المزودين وصولًا مبكرًا إلى النماذج قبل إطلاقها، ليتسنى لهم فحص منظوماتهم. ووعدت كذلك بلوحة صدارة عامة للمزودين. ويُفترض أن الشفافية ستدفع المزودين إلى مراقبة الدقة.

كلفة التحقق وما يُفعل عمليًا

شغّلت Moonshot العملية كاملة على خادمين، في كل منهما 8 وحدات NVIDIA H20، واستغرق التنفيذ المتسلسل نحو 15 ساعة. وقد حُسّنت السكربتات للاستدلال الطويل، فهي تدعم الإخراج المتدفق والإعادة التلقائية للمحاولات والاستئناف من نقطة تحقق. وهذا مهم لأن تشغيل AIME2025 بحد يبلغ نحو 98 ألف رمز (token) قد ينقطع بسهولة بسبب عطل في الشبكة.

وتوجد الإعدادات المرجعية في جدول النتائج الرسمية: Temperature 1.0 وTopP 0.95، وحدود الرموز 16 384 لـ OCRBench، و98 304 لـ AIME2025، و65 536 لـ MMMU Pro Vision.

أما الفرق التي تحصل على K2.6 من مزود خارجي، فالخطوات بالنسبة إليها بسيطة. تبدأ بتشغيل Pre-Verification، ثم اختبار OCRBench السريع، ولا تطلق الاختبارات الطويلة المكلفة إلا بعد ذلك. وإذا ظهر اختلاف عن القيم المرجعية 91.0 و98.4 و78.8، فينبغي البحث عن سببه أولًا في معاملات فك الترميز والتكميم ومعالجة السياق الطويل. أما الحكم بضعف النموذج نفسه فيأتي في المرحلة الأخيرة.

وتوفر KVV للمزودين قائمة تحقق جاهزة قبل الإطلاق. وتقر Moonshot في الوقت نفسه بأن تغطية المزودين غير مكتملة بعد، وتبحث عن اختبارات وكيلية أخف. ومن دونها يظل SWE-Bench أصرم حلقات التحقق، لكنه غير متاح لإعادة إنتاجه ذاتيًا.