Modal تسرّع توليد Sakana Namazu بنسبة 35% بفضل نموذج مسوّدة
يعيق تسريع نماذج اللغة الكبيرة في واجهات API الإنتاجية أمران: ذاكرة GPU الباهظة وبطء توليد الردود. بالنسبة إلى Sakana Namazu، وهو نموذج يقارب تريليون معامل، جمعت Modal بين الضغط الانتقائي للأوزان ونموذج صغير يقترح تتمة النص ليتحقق منها النموذج الرئيسي. وبحسب الفريق، انخفض زمن التأخير لكل رمز بنحو 35%، وصار بوسع نسخة واحدة (replica) استقبال حركة أكبر بنحو 40% قبل أن تبدأ الطوابير بالنمو.
معالج بواسطة الذكاء الاصطناعي من Modal Blog؛ بتحرير Hamidun News
إذا كانت خدمة الذكاء الاصطناعي لديكم تتأخر في الرد، فقد يكون شراء وحدات GPU إضافية طريقة مكلفة لتجاوز المشكلة. ففي جزء من الوقت تنتظر المسرّعات، ويتكرر جزء من العمل، ويخطئ النموذج الصغير المخصص لتسريع التوليد في تخمين التتمة. وفي تحليل Modal المنشور في 23 أكتوبر، يعرض الفريق كيف عولجت هذه المشكلات في Sakana Namazu، وهو نموذج يقارب تريليون معامل، موجّه إلى مهام الأعمال اليابانية والبحث على الويب وتنفيذ الشيفرة.
النتيجة الرئيسية للمرحلة الأولى: بحسب Modal، انخفض زمن توليد الرمز الواحد بنحو 35%. وتمكنت النسخة (replica) من خدمة حركة أكبر بنحو 40% قبل أن تبدأ الطوابير بالنمو. وخلف هذه الأرقام عدة تغييرات منفصلة، وما يفيد المطوّر هنا هو تسلسل القرارات أكثر من وعد بتسريع مماثل.
ضغط الأوزان مع مراعاة المهام الفعلية
يعتمد Namazu بنية Mixture-of-Experts: داخل النموذج كتل متخصصة كثيرة، ويختار الموجِّه (router) أيًّا منها يُفعَّل. ويتركز الجزء الأكبر من المعاملات في هذه الكتل. وقد حوّل المهندسون الخبراء المختارين تحديدًا إلى NVFP4، وهي صيغة منخفضة الدقة لوحدات NVIDIA Blackwell. أما آلية الانتباه والموجِّه والخبراء المشتركون فقد أبقوها بصيغة BF16.
لماذا هذا الانتقاء؟ الضغط يحرّر الذاكرة، لكن الفحص على اختبارات إنجليزية معتادة قد يغفل تدهور الردود اليابانية. لذلك ضُبطت معاملات الضغط على حوارات تشبه مهام Namazu الفعلية وتتضمن نسبة كبيرة من اللغة اليابانية. وبحسب الفريق، بقيت جودة تنفيذ التعليمات اليابانية ضمن هامش خطأ الاختبارات المستخدمة مقارنةً بالنسخة الإنتاجية من النموذج.
تخيّلوا مساعدًا يكتب رسائل عمل إلى عملاء يابانيين. بعد الضغط قد يظل يحل المهام الإنجليزية جيدًا، لكنه يلتزم بصيغة المخاطبة المطلوبة بدرجة أقل. الخلاصة العملية: يجب أن تشمل عيّنة التحقق لغة منتجكم وأسلوبه وسيناريوهاته. ولا يكفي تصنيف عام واحد.
على نموذج المسوّدة أن يعرف حركة بياناتكم
الأسلوب الثاني هو speculative decoding. يقترح نموذج صغير عدة رموز تالية، ويتحقق منها النموذج الكبير في تمريرة واحدة. وكلما قبل عددًا أكبر من الاقتراحات، قلّت الحاجة إلى تشغيل خطوة توليد جديدة.
كان المساعد المعتاد يتنبأ بضعف بالأسلوب التجاري الياباني لـ Namazu: إذ كانت نسبة الرموز المقبولة دون 40%. فدرّب الفريق نموذجه الخاص DFlash على بيانات مميزة لـ Namazu. وثمة تفصيل جوهري: حُفظت معرّفات الرموز الأصلية. فتحويل الرد إلى نص ثم إعادة ترميزه قد يغيّر حدود الرموز داخل استدعاءات الأدوات وJSON، رغم بقاء السلسلة المرئية نفسها.
بعد إطلاق API توافرت مادة للتحسين التالي. فقد دُرّب مساعد جديد على بنية DFlash2 على نحو مليون طلب حقيقي. وفي مقارنة بين إعدادين متماثلين للخدمة استُخدم ألف طلب مستبعَد مع إعدادات توليد مخصصة. ارتفع متوسط عدد الرموز المقبولة في الخطوة من 3.51 إلى 5.01، أي بنسبة 43%. وانخفض زمن التأخير p99 من 68 إلى 52 ثانية. وهو مؤشر للردود البطيئة: نحو 99% من الطلبات تُنجز ضمن الزمن المذكور.
الطابور جزء من زمن الرد أيضًا
كما أزال المهندسون الانتظار بين CPU وGPU في حلقة التحقق من المسوّدات، ووصلوا أنوية حوسبة أسرع، وأعادوا استخدام العمليات التحضيرية. وعند العمل على أربع وحدات GPU تعيّن ضمان قرار موحّد بقبول الرموز: فقد كان التباين النادر بين الأجهزة يسبب تجمّدًا.
وجرى بشكل منفصل تغيير توزيع الطلبات بين النسخ. فالموجِّه يراعي أين حُفظت الحسابات الخاصة ببداية المطالبة (prompt)، ويراقب الحمل في الوقت نفسه. وقلّل ذلك الطوابير وقفزات انتظار الرمز الأول، وإن لم تتغير سرعة التوليد اللاحق نفسها.
وللحالة قيود جوهرية: النتائج ينشرها مزوّد البنية التحتية، ولا يتضمن المقال تحققًا مستقلًا، ولم تُكشف تكلفة الطلب. ولا يجوز جمع نسب التحسينات المختلفة، كما أن ألف طلب لا تصف أي حمل مستقبلي. وبالنسبة إلى API الخاصة بكم، فالخطوة الأولى المعقولة هي قياس انتظار الرمز الأول وسرعة التوليد والطوابير كلًّا على حدة، ثم مقارنة التغييرات على طلبات متطابقة. عندها يتضح هل تحتاجون مساعدًا جديدًا أم ضبطًا للضغط أم تصحيحًا لتوزيع الحمل.
- 7 يوليو 2026Sakana AI تطلق مترجم Sakana Translate للغات اليابانية والإنجليزية والصينية
- 12 نوفمبر 2026NVIDIA Vera تضاعف سرعة Modal Sandboxes: حتى 4281 مهمة في الدقيقة على 150 حاوية
- 19 يوليو 2026Sakana AI تطلق Sakana Marlin: وكيل ذكي يعدّ تقارير من 100 صفحة مع شرائح عرض
- 7 فبراير 2026PaperBanana: غوغل تعلّم الذكاء الاصطناعي رسم مخططات لا يخجل منها الباحث أمام المراجعين
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ضغط الأوزان مع مراعاة المهام الفعلية؟
يعتمد Namazu بنية Mixture-of-Experts: داخل النموذج كتل متخصصة كثيرة، ويختار الموجِّه (router) أيًّا منها يُفعَّل. ويتركز الجزء الأكبر من المعاملات في هذه الكتل. وقد حوّل المهندسون الخبراء المختارين تحديدًا إلى NVFP4، وهي صيغة منخفضة الدقة لوحدات NVIDIA Blackwell. أما آلية الانتباه والموجِّه والخبراء المشتركون فقد أبقوها بصيغة BF16. لماذا هذا الانتقاء؟ الضغط يحرّر الذاكرة، لكن الفحص على اختبارات إنجليزية معتادة قد يغفل تدهور الردود اليابانية.
ما أبرز التفاصيل حول على نموذج المسوّدة أن يعرف حركة بياناتكم؟
الأسلوب الثاني هو speculative decoding. يقترح نموذج صغير عدة رموز تالية، ويتحقق منها النموذج الكبير في تمريرة واحدة. وكلما قبل عددًا أكبر من الاقتراحات، قلّت الحاجة إلى تشغيل خطوة توليد جديدة. كان المساعد المعتاد يتنبأ بضعف بالأسلوب التجاري الياباني لـ Namazu: إذ كانت نسبة الرموز المقبولة دون 40%. فدرّب الفريق نموذجه الخاص DFlash على بيانات مميزة لـ Namazu. وثمة تفصيل جوهري: حُفظت معرّفات الرموز الأصلية.
ما أبرز التفاصيل حول الطابور جزء من زمن الرد أيضًا؟
كما أزال المهندسون الانتظار بين CPU وGPU في حلقة التحقق من المسوّدات، ووصلوا أنوية حوسبة أسرع، وأعادوا استخدام العمليات التحضيرية. وعند العمل على أربع وحدات GPU تعيّن ضمان قرار موحّد بقبول الرموز: فقد كان التباين النادر بين الأجهزة يسبب تجمّدًا. وجرى بشكل منفصل تغيير توزيع الطلبات بين النسخ. فالموجِّه يراعي أين حُفظت الحسابات الخاصة ببداية المطالبة (prompt)، ويراقب الحمل في الوقت نفسه. وقلّل ذلك الطوابير وقفزات انتظار الرمز الأول، وإن لم تتغير سرعة التوليد اللاحق نفسها.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.