Moonshot تطلق Kimi K3 بحجم 2.8 تريليون معيار وسياق يبلغ 1 مليون توكن

أطلقت شركة Moonshot AI نموذج Kimi K3، وهو نموذج ضخم يضم 2.8 تريليون معيار مع قدرات رؤية حاسوبية مدمجة (native vision) ونافذة سياق تبلغ مليون توكن. وتصفه الشركة بأنه أول نموذج مفتوح ينتمي إلى فئة 3T. النموذج متاح حالياً عبر تطبيق Kimi، وتطبيق الأجهزة المكتبية Kimi Work، وأداة الطرفية Kimi Code، بالإضافة إلى واجهة برمجة التطبيقات (API). وتعد Moonshot بنشر الأوزان الكاملة للنموذج في وقت لاحق بالتزامن مع التقرير التقني. ومن جانبهم، يوضح المطورون تحفظاً أساسياً: لا يزال K3 يتأخر من حيث الأداء العام عن النماذج المغلقة الرائدة مثل Claude Fable 5 وGPT 5.6 Sol، لكنه، وفقاً لبياناتهم، يتفوق بثبات على بقية النماذج التي تم اختبارها.

البنية الهندسية: 16 خبيراً من أصل 896

يرتكز K3 على تحديثين تقنيين جوهريين؛ حيث تتولى آلية Kimi Delta Attention مهمة التوسع عالي الكفاءة للانتباه عبر طول السياق، بينما تعمل Attention Residuals على استخلاص التمثيلات بشكل انتقائي عبر عمق الشبكة بدلاً من مراكمتها بنمط متساوٍ. علاوة على ذلك، رفعت Moonshot مستوى التشتت (sparsity) في بنية Mixture of Experts، إذ يتم تفعيل 16 خبيراً فقط من أصل 896 خبيراً لكل توكن ضمن إطار عمل Stable LatentMoE. ومع هذا المستوى العالي من التشتت، يصبح التوجيه وموازنة الأحمال العائق الهندسي الأكبر؛ لذا اعتمد الفريق عدة حلول تقنية: إذ تبني ميزة Quantile Balancing توزيعاً بالاعتماد على نقاط التوجيه المئينية دون الحاجة لتحديثات استكشافية (heuristics) أو معاملات فائقة حساسة، في حين تعمل Per-Head Muon على تحسين كل رأس انتباه على نحو مستقل.

وتقدر Moonshot أن هذا المزيج يحقق زيادة بنحو 2.5 مرة في كفاءة التوسع مقارنةً بنموذج Kimi K2. ويبدأ التدريب المدرك للتكميم (Quantization-aware training) من مرحلة الضبط الدقيق الخاضع للإشراف (SFT)، حيث تُخزن الأوزان بتنسيق MXFP4 والتنشيطات بتنسيق MXFP8. ولأداء الاستدلال (inference)، توصي الشركة باستخدام عقد فائقة (supernodes) تبدأ من 64 مسرعاً. وإضافة إلى ذلك، قدمت الشركة لمنصة vLLM تنفيذاً لميزة التخزين المؤقت للبادئات (prefix cache) المخصص لـ KDA، والذي سيصدر بالتزامن مع النموذج.

ما أظهرته نتائج Moonshot

انصب التركيز الأساسي على مهام الوكلاء المستقلين (agentic tasks) الطويلة والمعقدة. وتجدر الإشارة إلى أن جميع الأرقام المذكورة أدناه مصدرها الشركة نفسها، ولم تخضع لتدقيق مستقل بعد.

• تحسين أنوية معالجات الرسومات (GPU kernels): شمل أربع مهام استغرقت حتى 24 ساعة لكل نموذج، على معالجات Hopper ومعالجات GPGPU من مورد خارجي؛ أظهر K3 أداءً مقارباً لـ Fable 5 (مع آلية الاحتياط fallback) وتفوق بوضوح على Opus 4.8 وGPT 5.6 Sol وGPT 5.5.
• MiniTriton: مُصرف (compiler) مستوحى من Triton بتمثيل وسيط خاص على مستوى الشرائح (tile-level IR) مبني فوق MLIR مع توليد كود PTX. وفي اختبارات roofline المدعومة، لم يقل أداؤه عن Triton وtorch.compile بل تفوق عليهما في بعض المواضع، كما حقق تدريب nanoGPT عليه تقارباً مستقراً.
• تصميم الرقائق: نجح النموذج عبر تشغيل ذاتي مستقل استمر 48 ساعة في تصميم مسرع مخصص لنموذج فائق الصغر يعتمد بنيته الهندسية الخاصة؛ بمساحة 4 مم²، وتردد 100 ميجاهرتز، و1.46 مليون خلية قياسية، وسرعة محاكاة تجاوزت 8,700 توكن/ثانية.
• البحث العلمي: إعادة استنتاج علاقات I–Love–Q العامة في الفيزياء الفلكية خلال نحو ساعتين بدلاً من أسبوع إلى أسبوعين من عمل الباحثين البشريين، عبر معالجة أكثر من 20 ورقة بحثية، وما يزيد عن 300 معادلة حالة، وتوليد أكثر من 3,000 سطر برمجي بلغة Python.
• المونتاج: تمكن النموذج ذاتياً من تركيب إعلان ترويجي معتمد على 56 مقطعاً، متضمناً المزامنة الصوتية مع الإيقاعات.

تكتسب التحفظات الواردة في منشور المدونة أهمية بالغة؛ فقد اختبر طرف ثالث نموذج Fable 5، ومن المحتمل أن تكون نتائجه قد تضمنت اللجوء لآلية الاحتياط (fallback). وفي اختبار SWE Marathon، جرى تفعيل هذه الآلية في 35% من المهام، ما قد يقلل من دقة التقييم. كما استخدمت Moonshot في اختبار SWE Marathon فرعاً مخصصاً من المهام تمت إعادة معايرته ليتوافق مع H20، وهو ما يقتضي التعامل بحذر مع المقارنات المباشرة مع المنافسين وفق هذه الظروف.

الأسعار وسبل الوصول

يعمل K3 داخل Kimi.ai، وفي تطبيق Kimi Work للإصدار 3.1.0 والإصدارات الأحدث (على أنظمة Windows وأجهزة Mac بمعالجات Apple silicon)، وفي Kimi Code عبر الأمر /model، كما يتوفر عبر الـ API بالمعرّف kimi-k3. خطط الأسعار محددة كالتالي: 0.30 دولار لكل مليون توكن مدخلات عند إصابة الكاش (cache hit)، و3.00 دولارات دون كاش، و15.00 دولاراً لكل مليون توكن مخرجات. وتؤكد Moonshot أن نسبة إصابة الكاش في مهام البرمجة تتجاوز 90% عند استخدام بنية Mooncake، وهو العامل الذي يحدد التكلفة الإجمالية في جلسات الوكلاء الذاتيين الطويلة. يُفعل نمط التفكير الأقصى افتراضياً عند الإطلاق، على أن يُتاح النمطان المنخفض والمرتفع لاحقاً، كما تقدم الشركة Kimi Enterprise لفرق الشركات مع ميزة الفصل بين الحسابات الشخصية والمؤسسية.

الخلاصة العملية للمطورين: إذا كنتم تجرون جلسات برمجية طويلة، يجدر بكم مقارنة K3 بنموذجكم الحالي على مستودعات برمجية فعلية وحساب التكلفة مع احتساب ميزة التخزين المؤقت. أما الراغبون في استضافة النموذج ذاتياً، فسيتعين عليهم انتظار نشر الأوزان ومراعاة متطلبات البنية التحتية، والتي لا تقل عن 64 مسرعاً لضمان استدلال سلس ومستقر.