九章云极 Alaya-DFlash2 تسرّع فك الترميز في GLM-5.3 بمقدار 3,41 مرة

قدّمت شركة الحوسبة السحابية 九章云极 (DataCanvas) نظام Alaya-DFlash2 لتسريع فك الترميز، وتعلن أنه رفع سرعة التوليد في GLM-5.3 بمقدار 3,41 مرة. ويستهدف النظام مشكلة يعرفها كل من أعطى النموذج مستندًا طويلًا: يقرأ النموذج بسرعة، لكنه يجيب ببطء.

أين يتباطأ السياق الطويل

يظهر الانتظار عند الخرج لا عند الدخل. فالنموذج يستوعب مستندًا من 32 ألف رمز في مرور واحد، وتظهر الكلمة الأولى من الإجابة بعد لحظات. بعد ذلك يبدأ التوليد خطوة بخطوة: يتقدم النموذج الأساسي خطوة واحدة، ويُخرج رمزًا واحدًا، ثم يكرر العملية من جديد. وبحسب وصف المصدر، عليه في كل خطوة أن يعالج السياق كله مجددًا. من الناحية التقنية يتعلق الأمر في الغالب بقراءة KV-cache، لكن النتيجة واحدة: تكلفة الخطوة الواحدة ترتفع مع طول السياق. وكلما زاد حجم المستند، طال زمن الإجابة.

كيف يعمل فك الترميز التخميني

يقوم Alaya-DFlash2 على أسلوب صار معيارًا لتسريع الاستدلال في السنوات الأخيرة. يخمّن نموذج مسودّة صغير عدة رموز مقدّمًا، ثم يتحقق النموذج الكبير من السلسلة كلها في مرور واحد. تُقبل الرموز المتطابقة فورًا، وتنقطع السلسلة عند أول اختلاف، ثم يستمر التوليد من الرمز الصحيح. وإذا نُفذ التحقق بصورة صحيحة، يطابق النص النهائي ما كان سينتجه النموذج الأساسي وحده. فالمكسب يقتصر على السرعة.

كل شيء يتوقف على قيمتين: متوسط عدد الرموز المتتالية التي يقبلها النموذج الأساسي من المسودّة، وكلفة نموذج المسودّة نفسه. وفي السياق الطويل تصبح القيمة الثانية مشكلة، لأن نموذج المسودّة يحتاج بدوره إلى «رؤية» المستند كله. وفي هذه النقطة تحديدًا يُعلن عن الاختراق. أما كيف صُممت النسخة الثانية من DFlash، فلم يُكشف عن ذلك في الجزء المتاح من المادة.

ما المعروف من الإعلان

• الحل: Alaya-DFlash2 من 九章云极
• النموذج المستهدف: GLM-5.3
• تسريع فك الترميز المعلن: 3,41×
• السيناريو: النصوص الطويلة، وقد أورد المصدر مثالًا بمستند من 32k رمز
• الأسلوب: فك ترميز تخميني بنموذج مسودّة، مع تحقق دفعي يجريه النموذج الأساسي

لم يُذكر العتاد المستخدم، ولا حجم الدفعة (batch)، ولا خط الأساس المعتمد للمقارنة، ولا متوسط طول السلسلة المقبولة، ولا نتائج اختبار الجودة. وإلى أن تتوافر هذه المعلومات، ينبغي اعتبار الرقم 3,41× حدًّا أقصى تسويقيًا لا ضمانًا.

كيف نقرأ الرقم وما الذي ينبغي التحقق منه

عادةً ما يتحقق التسريع بعدة أضعاف في فك الترميز التخميني عند حمل متوازٍ صغير. ومع زيادة حجم الدفعة، يكون GPU منشغلًا أصلًا بعمل مفيد، فيتقلص مكسب التخمين. كما تتأثر النتيجة كثيرًا بنوع النص: فالشيفرة البرمجية والإجابات المنظمة أسهل في التنبؤ من النثر الحر. لذلك فإن «3,41 مرة» دون تحديد نمط الحمل يصف السقف لا الحالة المعتادة.

يمكن لمن يشغّل GLM في بيئة الإنتاج على مستندات طويلة (عقود، تقارير، مراسلات، قواعد شيفرة) اتخاذ ثلاث خطوات:

• قياس سرعة التوليد على حركة المرور الفعلية وبطول السياق الحقيقي، لا على اختبارات قياسية قصيرة.
• مقارنة المكسب عند مستخدم واحد وعند ذروة التزامن. وبالنسبة إلى خدمة تعتمد على الطوابير، فالرقم الثاني هو الأهم.
• تشغيل عينة من الإجابات للتأكد من أن الجودة لم تتراجع قياسًا بفك الترميز الأساسي.

أما بالنسبة إلى السوق، فالأهم هو الواقعة نفسها: فالمنافسة في السياق الطويل تنتقل من حجم النافذة إلى السعر وسرعة الإجابة داخلها. وسيتمكن المزودون الذين ينجحون في استخلاص أقصى أداء من فك الترميز برمجيًا من تقديم عدد أكبر من الرموز من أسطول GPU نفسه. وهذا توفير مباشر حيث تشحّ المسرّعات.