KTransformers تنقل جزءًا من حسابات MoE إلى المعالج المركزي وتلغي نقل الأوزان أثناء الضبط الدقيق

يقترح مشروع KTransformers حساب خبراء نموذج MoE على المعالج المركزي مباشرة أثناء الضبط الدقيق، بدلًا من نقل أوزانها إلى بطاقة الرسومات. ويستهدف المؤلفون النماذج الرائدة المفتوحة DeepSeek-V4 وQwen-3.8 وKimi-K3 وGLM-5.3. فكل إصدار من هذا النوع يرفع سقف الجودة بشكل حاد، لكن معظم المطورين ما زالوا يتعاملون معها عبر API فقط، لأن ضبطها لمهامهم الخاصة يصطدم بحدود الذاكرة وتكلفة العتاد.

أين يتعثر الضبط الدقيق لنماذج MoE الكبيرة

يخزّن نموذج MoE مئات المليارات من المعاملات، وقد يصل إلى تريليون، لكنه يفعّل لكل رمز (token) عددًا قليلًا فقط من الخبراء. والاستدلال على هذه البنية رخيص من حيث الحسابات، لكنها ثقيلة من حيث الذاكرة. فلا بد من تخزين جميع الخبراء في مكان ما، ولا تتسع لها ذاكرة الفيديو في بطاقة أو بطاقتين.

الحل المعتاد هو التفريغ (offloading). تبقى الأوزان في ذاكرة الوصول العشوائي، وفي كل خطوة تُنسخ الخبراء المطلوبة إلى GPU، وتُعالَج، ثم تعود إلى الذاكرة. وتكلفة ذلك في الضبط الدقيق أعلى منها في الاستدلال، لأنه يتطلب تمريرًا أماميًا وآخر خلفيًا إضافة إلى تحديث المعاملات.

والنِّسَب هنا غير مواتية. فواجهة PCIe 5.0 x16 توفر نظريًا نحو 64 جيجابايت/ث في اتجاه واحد، بينما تبلغ سرعة HBM في H100 SXM نحو 3,35 تيرابايت/ث، أي أكثر بنحو 50 مرة تقريبًا. ولذلك يظل المسرّع معطلًا في انتظار البيانات. وهذا بالضبط ما يشير إليه عنوان الإعلان: ينبغي ألا تنتظر الحسابات نقل الأوزان.

ما الذي يغيّره إشراك المعالج المركزي

فكرة KTransformers أن أوزان الخبراء ما دامت موجودة أصلًا في RAM، فالأيسر حسابها هناك. فالمعالج الخادمي المزوّد بـ 12 قناة DDR5 يوفر نحو 400+ جيجابايت/ث من عرض نطاق الذاكرة لكل مقبس (socket). وهذا أعلى بمرتبة كاملة من عرض نطاق ناقل PCIe. ومن حيث القدرة الحسابية، المعالج المركزي أضعف من GPU، لكن عدد الخبراء النشطة لكل رمز قليل، فيناسب هذا الحِمل المعالج أكثر مما يبدو.

وقد بُني المشروع منذ البداية حول مخطط هجين يجمع CPU وGPU. فقد عرض مطورون من مختبر MADSys في جامعة تسينغهوا تشغيل نماذج MoE كبيرة على بطاقة رسومات واحدة مع كمية كبيرة من RAM. والعمل الجديد ينقل هذا النهج من الاستدلال إلى التدريب، حيث تكون متطلبات الذاكرة والمزامنة أشد.

يمكن استخلاص المعايير التالية من عنوان الإعلان ومقدمته:

• توزيع العمل: يتولى GPU الأجزاء الكثيفة من النموذج، بينما تُحسب خبراء MoE على CPU.
• ما أُزيل: نقل أوزان الخبراء عبر PCIe في كل خطوة.
• النماذج المستهدفة: DeepSeek-V4 وQwen-3.8 وKimi-K3 وGLM-5.3.
• السيناريو: الضبط الدقيق بموارد لا تكفي لعنقود GPU كامل.
• الترخيص والشيفرة: يتطور KTransformers كمشروع مفتوح المصدر.

ما لا يظهر بعد في الإعلان

لا تتضمن الفقرة المتاحة سرعة المعالجة بالرموز في الثانية، ولا متطلبات RAM، ولا مقارنة مع التفريغ التقليدي. ولم يُحدَّد أيضًا أسلوب الضبط (LoRA أم ضبط كامل)، ولا المعالجات المدعومة، ولا مقدار فقدان الدقة. وبدون هذه البيانات لا يمكن الحكم على مدى عملية المخطط في مهام خارج العرض التوضيحي.

والسؤال الرئيسي هو قابلية التوسع. فإذا كان المعالج يحسب الخبراء أسرع مما ينقلها الناقل، فسيكون المكسب ملموسًا. أما مع الدفعات الطويلة فيزداد الحِمل على CPU، وقد تزول هذه الميزة. ويجب التحقق من ذلك على تكوينات حقيقية.

لمن يفيد هذا ومتى

يجدر بفريق لديه خادم بذاكرة RAM بين 1 و2 تيرابايت وبطاقة رسومات أو اثنتين، ولا تتوافر له ميزانية لعقدة بثماني بطاقات، أن ينظر في KTransformers. فبالنسبة لمثل هذه المشاريع قد يصبح الضبط الدقيق لنموذج MoE رائد على بياناتها الخاصة مهمة واقعية لا حلمًا. وينبغي أولًا التحقق من ثلاثة أمور: ما أسلوب الضبط المدعوم، وكم تحتاج من RAM لنموذجك، وما السرعة التي تحققها على معالجك. ويكفي للتجربة الأولية تنفيذ مهمة صغيرة، مثل التكيّف مع مجال محدد عبر LoRA. فإذا جاءت الأرقام مقبولة، يمكن التفكير في التوسع. وإن لم تكن كذلك، فلا يبقى سوى استئجار ساعات GPU.