بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
بنية تحتيةAPI / منتج · جاهز للعملModal Blog→ المصدر

Modal تسرّع توليد Sakana Namazu بنسبة 35% بفضل نموذج مسوّدة

يعيق تسريع نماذج اللغة الكبيرة في واجهات API الإنتاجية أمران: ذاكرة GPU الباهظة وبطء توليد الردود. بالنسبة إلى Sakana Namazu، وهو نموذج يقارب تريليون معامل، جمعت Modal بين الضغط الانتقائي للأوزان ونموذج صغير يقترح تتمة النص ليتحقق منها النموذج الرئيسي. وبحسب الفريق، انخفض زمن التأخير لكل رمز بنحو 35%، وصار بوسع نسخة واحدة (replica) استقبال حركة أكبر بنحو 40% قبل أن تبدأ الطوابير بالنمو.

معالج بواسطة الذكاء الاصطناعي من Modal Blog؛ بتحرير Hamidun News
Modal تسرّع توليد Sakana Namazu بنسبة 35% بفضل نموذج مسوّدة
المصدر: Modal Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليModal Blog ↗
رئيس التحرير
حقيقة رئيسية #1عند الضغط جرى التحقق باستخدام حوارات يابانية نموذجية لمهام النموذج.
حقيقة رئيسية #2دُرّب المساعد على معرّفات الرموز الأصلية، مع الحفاظ على الحدود داخل JSON.
حقيقة رئيسية #3النتائج مستخلصة من حمل Sakana؛ أما واجهة API الخاصة بكم فتحتاج إلى قياس مستقل.

إذا كانت خدمة الذكاء الاصطناعي لديكم تتأخر في الرد، فقد يكون شراء وحدات GPU إضافية طريقة مكلفة لتجاوز المشكلة. ففي جزء من الوقت تنتظر المسرّعات، ويتكرر جزء من العمل، ويخطئ النموذج الصغير المخصص لتسريع التوليد في تخمين التتمة. وفي تحليل Modal المنشور في 23 أكتوبر، يعرض الفريق كيف عولجت هذه المشكلات في Sakana Namazu، وهو نموذج يقارب تريليون معامل، موجّه إلى مهام الأعمال اليابانية والبحث على الويب وتنفيذ الشيفرة.

النتيجة الرئيسية للمرحلة الأولى: بحسب Modal، انخفض زمن توليد الرمز الواحد بنحو 35%. وتمكنت النسخة (replica) من خدمة حركة أكبر بنحو 40% قبل أن تبدأ الطوابير بالنمو. وخلف هذه الأرقام عدة تغييرات منفصلة، وما يفيد المطوّر هنا هو تسلسل القرارات أكثر من وعد بتسريع مماثل.

ضغط الأوزان مع مراعاة المهام الفعلية

يعتمد Namazu بنية Mixture-of-Experts: داخل النموذج كتل متخصصة كثيرة، ويختار الموجِّه (router) أيًّا منها يُفعَّل. ويتركز الجزء الأكبر من المعاملات في هذه الكتل. وقد حوّل المهندسون الخبراء المختارين تحديدًا إلى NVFP4، وهي صيغة منخفضة الدقة لوحدات NVIDIA Blackwell. أما آلية الانتباه والموجِّه والخبراء المشتركون فقد أبقوها بصيغة BF16.

لماذا هذا الانتقاء؟ الضغط يحرّر الذاكرة، لكن الفحص على اختبارات إنجليزية معتادة قد يغفل تدهور الردود اليابانية. لذلك ضُبطت معاملات الضغط على حوارات تشبه مهام Namazu الفعلية وتتضمن نسبة كبيرة من اللغة اليابانية. وبحسب الفريق، بقيت جودة تنفيذ التعليمات اليابانية ضمن هامش خطأ الاختبارات المستخدمة مقارنةً بالنسخة الإنتاجية من النموذج.

تخيّلوا مساعدًا يكتب رسائل عمل إلى عملاء يابانيين. بعد الضغط قد يظل يحل المهام الإنجليزية جيدًا، لكنه يلتزم بصيغة المخاطبة المطلوبة بدرجة أقل. الخلاصة العملية: يجب أن تشمل عيّنة التحقق لغة منتجكم وأسلوبه وسيناريوهاته. ولا يكفي تصنيف عام واحد.

على نموذج المسوّدة أن يعرف حركة بياناتكم

الأسلوب الثاني هو speculative decoding. يقترح نموذج صغير عدة رموز تالية، ويتحقق منها النموذج الكبير في تمريرة واحدة. وكلما قبل عددًا أكبر من الاقتراحات، قلّت الحاجة إلى تشغيل خطوة توليد جديدة.

كان المساعد المعتاد يتنبأ بضعف بالأسلوب التجاري الياباني لـ Namazu: إذ كانت نسبة الرموز المقبولة دون 40%. فدرّب الفريق نموذجه الخاص DFlash على بيانات مميزة لـ Namazu. وثمة تفصيل جوهري: حُفظت معرّفات الرموز الأصلية. فتحويل الرد إلى نص ثم إعادة ترميزه قد يغيّر حدود الرموز داخل استدعاءات الأدوات وJSON، رغم بقاء السلسلة المرئية نفسها.

بعد إطلاق API توافرت مادة للتحسين التالي. فقد دُرّب مساعد جديد على بنية DFlash2 على نحو مليون طلب حقيقي. وفي مقارنة بين إعدادين متماثلين للخدمة استُخدم ألف طلب مستبعَد مع إعدادات توليد مخصصة. ارتفع متوسط عدد الرموز المقبولة في الخطوة من 3.51 إلى 5.01، أي بنسبة 43%. وانخفض زمن التأخير p99 من 68 إلى 52 ثانية. وهو مؤشر للردود البطيئة: نحو 99% من الطلبات تُنجز ضمن الزمن المذكور.

الطابور جزء من زمن الرد أيضًا

كما أزال المهندسون الانتظار بين CPU وGPU في حلقة التحقق من المسوّدات، ووصلوا أنوية حوسبة أسرع، وأعادوا استخدام العمليات التحضيرية. وعند العمل على أربع وحدات GPU تعيّن ضمان قرار موحّد بقبول الرموز: فقد كان التباين النادر بين الأجهزة يسبب تجمّدًا.

وجرى بشكل منفصل تغيير توزيع الطلبات بين النسخ. فالموجِّه يراعي أين حُفظت الحسابات الخاصة ببداية المطالبة (prompt)، ويراقب الحمل في الوقت نفسه. وقلّل ذلك الطوابير وقفزات انتظار الرمز الأول، وإن لم تتغير سرعة التوليد اللاحق نفسها.

وللحالة قيود جوهرية: النتائج ينشرها مزوّد البنية التحتية، ولا يتضمن المقال تحققًا مستقلًا، ولم تُكشف تكلفة الطلب. ولا يجوز جمع نسب التحسينات المختلفة، كما أن ألف طلب لا تصف أي حمل مستقبلي. وبالنسبة إلى API الخاصة بكم، فالخطوة الأولى المعقولة هي قياس انتظار الرمز الأول وسرعة التوليد والطوابير كلًّا على حدة، ثم مقارنة التغييرات على طلبات متطابقة. عندها يتضح هل تحتاجون مساعدًا جديدًا أم ضبطًا للضغط أم تصحيحًا لتوزيع الحمل.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ضغط الأوزان مع مراعاة المهام الفعلية؟

يعتمد Namazu بنية Mixture-of-Experts: داخل النموذج كتل متخصصة كثيرة، ويختار الموجِّه (router) أيًّا منها يُفعَّل. ويتركز الجزء الأكبر من المعاملات في هذه الكتل. وقد حوّل المهندسون الخبراء المختارين تحديدًا إلى NVFP4، وهي صيغة منخفضة الدقة لوحدات NVIDIA Blackwell. أما آلية الانتباه والموجِّه والخبراء المشتركون فقد أبقوها بصيغة BF16. لماذا هذا الانتقاء؟ الضغط يحرّر الذاكرة، لكن الفحص على اختبارات إنجليزية معتادة قد يغفل تدهور الردود اليابانية.

ما أبرز التفاصيل حول على نموذج المسوّدة أن يعرف حركة بياناتكم؟

الأسلوب الثاني هو speculative decoding. يقترح نموذج صغير عدة رموز تالية، ويتحقق منها النموذج الكبير في تمريرة واحدة. وكلما قبل عددًا أكبر من الاقتراحات، قلّت الحاجة إلى تشغيل خطوة توليد جديدة. كان المساعد المعتاد يتنبأ بضعف بالأسلوب التجاري الياباني لـ Namazu: إذ كانت نسبة الرموز المقبولة دون 40%. فدرّب الفريق نموذجه الخاص DFlash على بيانات مميزة لـ Namazu. وثمة تفصيل جوهري: حُفظت معرّفات الرموز الأصلية.

ما أبرز التفاصيل حول الطابور جزء من زمن الرد أيضًا؟

كما أزال المهندسون الانتظار بين CPU وGPU في حلقة التحقق من المسوّدات، ووصلوا أنوية حوسبة أسرع، وأعادوا استخدام العمليات التحضيرية. وعند العمل على أربع وحدات GPU تعيّن ضمان قرار موحّد بقبول الرموز: فقد كان التباين النادر بين الأجهزة يسبب تجمّدًا. وجرى بشكل منفصل تغيير توزيع الطلبات بين النسخ. فالموجِّه يراعي أين حُفظت الحسابات الخاصة ببداية المطالبة (prompt)، ويراقب الحمل في الوقت نفسه. وقلّل ذلك الطوابير وقفزات انتظار الرمز الأول، وإن لم تتغير سرعة التوليد اللاحق نفسها.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…