Moonshot تطلق Kimi K2: نموذج MoE بتريليون معامل مصمم للوكلاء الأذكياء

نشرت Moonshot AI أوزان Kimi K2، وهو نموذج يعتمد معمارية خليط الخبراء (Mixture-of-Experts) بإجمالي تريليون معامل، يُنشَّط منها 32 مليار معامل لكل توكن. يتوفر النموذج بنسختين: Kimi-K2-Base للراغبين في الضبط الدقيق بأنفسهم، وKimi-K2-Instruct للمحادثة وتطبيقات الوكلاء الأذكياء. لا يستغرق إصدار Instruct وقتًا طويلاً في التفكير المسبق بل يجيب مباشرة. لاحقًا، طُرح تحديث 0905 الذي عزز البرمجة الوكيلة ووسع نافذة السياق إلى 256K. وتؤكد الشركة أن K2 يتصدر النماذج التي تعمل دون نمط تفكير مخصص (thinking mode) في مجالات المعرفة العامة والرياضيات والبرمجة.

MuonClip: كيف تدرب تريليون معامل دون انقطاعات؟

لا يكمن التطور التقني الأبرز هنا في الحجم المجرد، بل في خوارزمية التحسين. يراهن فريق Moonshot منذ فترة على مُحسِّن Muon؛ إذ تفوق في ورقة Moonlight السابقة بشكل ملحوظ على AdamW التقليدي في كفاءة معالجة التوكنات. ومع K2، جرى توسيع هذا النهج ليلائم معمارية قريبة من DeepSeek-V3. وبناءً على تحليل قوانين التوسع (scaling laws)، قلص المهندسون عدد رؤوس الانتباه (attention heads) لرفع الكفاءة مع السياقات الطويلة، وزادوا نسبة التناثر في MoE لتحقيق أقصى كفاءة استهلاك للتوكنات.

وعند المقاييس الضخمة، ظهرت معضلة تقنية: يميل Muon إلى التسبب في انفجار قيم الـ logits الخاصة بالانتباه بشكل متكرر. ولم تُجدِ حلول logit soft-capping ولا تسوية متجهي query وkey نفعًا. وجاء الحل عبر تقنية qk-clip؛ فبعد كل خطوة تحسين في Muon، يُعاد تحجيم أوزان إسقاطات query وkey بمعامل η، والذي يساوي min(t / max(qᵀk), 1) استنادًا إلى قيمة حدية t محددة مسبقًا. وبذلك يُكبح تضخم الـ logits من المنبع بدلاً من معالجته بعد ظهوره. النتيجة: اكتمل التدريب المسبق على 15.5 تريليون توكن دون طفرة واحدة في الـ loss. وتشير Moonshot إلى أن هذه التقنية عامة ويمكن توظيفها في مهام الاستقرار الحسابي الأخرى.

من أين تأتي القدرات الوكيلة؟

تدرّب النموذج على تنفيذ المهام عبر مرحلتين. شملت المرحلة الأولى خط إنتاج بيانات اصطناعية مستوحى من منهجية ACEBench، حيث يغطي مئات المجالات وآلاف الأدوات — من بروتوكولات MCP الحقيقية إلى الأدوات الاصطناعية — وينتج مئات الوكلاء بحزم قدرات مختلفة. يتفاعل هؤلاء الوكلاء داخل بيئات افتراضية ومع مستخدمين افتراضيين، ثم تُقيَّم المهام عبر معايير صارمة، في حين يستبعد نموذج تحكيم (LLM judge) المسارات الضعيفة. وتُوجَّه المخرجات المتبقية إلى التعيين عبر الرفض (rejection sampling) والتعلم المعزز (RL).

أما المرحلة الثانية فركزت على التعلم المعزز العام، حيث تبرز الصعوبة في المهام التي تفتقر إلى مكافأة يمكن التحقق منها رياضيًا، مثل كتابة تقرير بحثي. وهنا يمارس النموذج دور الناقد لنفسه عبر تقييم نتائجه بموجب قواعد محددة. ويُعاد ضبط هذا النموذج الناقد باستمرار عبر rollouts داخل السياسة (on-policy) تتضمن مكافآت قابلة للتحقق (كالرياضيات والبرمجة التنافسية) لضمان عدم تخلف دقة التقييم عن مستوى السياسة نفسها.

وفي العروض التوضيحية، يتولى K2 اختيار الأدوات ذاتيًا؛ حيث أتم تحليل الرواتب عبر 16 استدعاءً لبيئة IPython. ونظم خطة رحلة لحضور حفل فرقة Coldplay في لندن عبر 17 استدعاءً تضمنت محركات البحث والتقويم وGmail وتذاكر الطيران وAirbnb والمطاعم. وفي مهمة تحويل كود من Flask إلى Rust، يعيد النموذج كتابة المشروع بالكامل ويجري اختبارات الأداء القياسية ذاتيًا.

المواصفات الأساسية

• المعمارية: MoE، بإجمالي تريليون معامل، و32 مليار معامل نشط
• التدريب المسبق: 15.5 تريليون توكن، بمُحسِّن MuonClip، دون أي انقطاع
• الإصدارات: Kimi-K2-Base وKimi-K2-Instruct
• نافذة السياق بعد تحديث 0905: 256K
• محركات الاستدلال: vLLM، وSGLang، وKTransformers، وTensorRT-LLM
• واجهة البرمجة (API): متوافقة بالكامل مع واجهات OpenAI وAnthropic

خيارات التجربة والتحديات التقنية

للاختبار السريع، يتوفر النموذج مجانًا عبر نسختي الويب وتطبيق الهاتف من Kimi، علمًا بأن وظائف MCP لا تزال قيد التطوير هناك، مع غياب دعم مدخلات الرؤية (vision). أما المطورون، فيمكنهم الدمج عبر الـ API المتوافق مع برمجيات عملاء OpenAI وAnthropic؛ إذ لا يتطلب دمج التطبيقات تعديل الشيفرة البرمجية تقريبًا سوى تغيير الـ endpoint واسم النموذج. وللتشغيل على البنى التحتية الخاصة، يوصي المطورون بالمحركات المذكورة مستندين إلى التعليمات المتاحة على GitHub. يتطلب تشغيل تريليون معامل بنية تحتية ومجموعات خوادم ضخمة، لذا يظل النشر الذاتي حاليًا مقتصرًا على الفرق التي تمتلك موارد كافية.

وتشير Moonshot بشفافية إلى قيود النموذج الحالية؛ ففي سيناريوهات التفكير المعقدة أو عند غموض توصيف الأدوات، قد يفرط النموذج في توليد توكنات إضافية، ما يؤدي إلى انقطاع الرد أو عدم اكتمال استدعاء الأداة. كذلك تتراجع الجودة في بعض المهام عند تفعيل الأدوات. كما أن إنشاء مشروع برمجي كامل من خلال موجه أوامر واحد (prompt) يعطي نتائج أضعف مقارنة بتشغيله ضمن أطر عمل وكيلة متكاملة. والخلاصة العملية: حدد سقوفًا للتوكنات، واضبط مخططات الأدوات بدقة، ووفّر لـ K2 حلقة عمل مدعومة بالاختبارات وتحليل السجلات بدلاً من الاعتماد على طلب واحد ضخم. وتَعِد الشركة بإضافة نمط التفكير وميزات الرؤية لاحقًا.