Wildberries تخفض زمن استجابة المساعد الذكي من 10,9 إلى 3,6 ثانية عبر DFlash 2
يوجّه مساعد Wildberries نحو 26 طلبًا إلى نموذج اللغة الكبير مقابل كل رسالة، والمستخدم ينتظر السلسلة كاملة. فعمد الفريق إلى تشغيل DFlash 2: يخمّن نموذج صغير يسمى المسودّة الرموز مسبقًا، ثم يتحقق منها النموذج الكبير في تمريرة واحدة. وفي بيئة الإنتاج انخفض وسيط زمن معالجة الرسالة من 10,9 إلى 3,6 ثانية، مع أن التغيير لم يقتصر على فك الترميز. وبالنسبة لردود JSON القصيرة، تبدو المسوِّدات المتوازية الخيار الأجدى.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
عندما تكتب إلى مساعد ذكي في متجر إلكتروني، تقف خلف الرسالة الواحدة سلسلة كاملة من الطلبات الموجّهة إلى نموذج اللغة. ويبلغ متوسطها لدى مساعد المتسوّق في Wildberries نحو 26 طلبًا: فهو يحلّل السياق، ويستخرج التفضيلات، ويولّد استعلامات البحث، ويختار عوامل التصفية، ثم يكتب الرد أخيرًا. بعض الاستدعاءات يجري بالتوازي، لكنّ المستخدم ينتظر السلسلة بأكملها. ولتقليص هذا الانتظار، نقل الفريق المساعد إلى الترميز التخميني (speculative decoding). الفكرة بسيطة: يخمّن نموذج صغير يسمى المسودّة (drafter) عدة رموز لاحقة مسبقًا، ثم يتحقق النموذج الكبير من التخمين في تمريرة واحدة. وبعد الانتقال إلى طريقة DFlash 2 في بيئة الإنتاج، انخفض وسيط زمن معالجة الرسالة من 10,9 إلى 3,6 ثانية. لكن Wildberries قارنت أولًا سبع طرق على منصة اختبار واحدة.
لماذا يفيد التحقق من التخمينات
لا يصطدم توليد النص بنموذج كبير بحدود الحوسبة، بل بحدود الذاكرة. فلإنتاج رمز واحد تقرأ وحدة GPU جميع الأوزان المشاركة في الحساب، بينما لا تجري إلا قدرًا يسيرًا من العمليات الحسابية. وإذا أُدخلت ثمانية رموز دفعة واحدة، فإن تكلفة التمريرة تكاد لا تتغير، لأن الأوزان تُقرأ مرة واحدة.
لذلك تقترح المسودّة تتمة للنص، ويقبل النموذج الكبير أطول جزء صحيح منها. وعند أول خطأ يضع رمزه هو. وما دام التحقق سليمًا، فإن توزيع ردود النموذج المستهدف لا يتغير. فالمسودّة الضعيفة لا تفسد النص، بل تُصيب بنسبة أقل. غير أن التسريع ليس مضمونًا، فهو يتوقف على تكلفة المسودّة والتحقق ونسبة الرموز المقبولة. وتحت الأحمال الكبيرة يتلاشى المكسب، إذ تبدأ الخطوة بالاصطدام بحدود الحوسبة لا الذاكرة.
وملف عمل المساعد غير معتاد. فالاستدعاء المتوسط عبارة عن موجّه (prompt) بنحو 5 آلاف رمز وردّ بنحو 45 رمزًا، وغالبًا ما يكون JSON وفق مخطط محدد. الردود قصيرة لكنها كثيرة، وتقع على المسار الحرج. والنموذج المستخدم في الإنتاج هو MoE بدقة FP8 مع انتباه هجين: بعض الطبقات بانتباه خطي، وبعضها بانتباه كامل اعتيادي.
ما أظهرته منصة الاختبار
لا يمكن القياس في بيئة الإنتاج، لأن المساعد يتعامل مع أنظمة مجاورة تفرض حدودًا صارمة على عدد الطلبات في الثانية (RPS). لذلك بنى الفريق منصة اختبار معزولة بالشيفرة نفسها والنموذج نفسه ونفس إعدادات vLLM. وجرى الاختبار على 449 دورة من 300 جلسة لم تكن ضمن بيانات التدريب. وقيس زمن الدورة كاملة تحت الحمل، لا عدد الرموز في الثانية، لأن هذا ما يراه المستخدم فعليًا. وأعطت الطريقة نفسها تباينًا بين التشغيلات بلغ 9% عند الحمل المنخفض و4,5% عند 128 مستخدمًا. أما الطرق التي لا يتجاوز الفارق بينها هذا الحد فيعدّها المؤلفون متساوية.
وكانت النتائج كما يلي:
- الأفضل هي المسوِّدات المتوازية DFlash وDSpark وDFlash 2. فعند الحمل المنخفض تكون الدورة معها أسرع بنحو الضعف، وعند 128 مستخدمًا متزامنًا أسرع بمقدار 1,4 مرة. والفروق بينها تقع ضمن حدود الضجيج الإحصائي.
- رأس MTP الخاص بالنموذج، بعد تدريبه الإضافي على المجال، يحقق ×1,7–1,8 عند الحمل المنخفض.
- يقبل EAGLE-3 في الخطوة الواحدة عددًا من الرموز يقارب ما يقبله DFlash، لكنه أبطأ بنسبة 11–23%. فمسودّته تُبنى تسلسليًا، بينما تُنجز المسودّة المتوازية عملها في تمريرة واحدة.
- تعمل المسوِّدات الجاهزة حتى دون تدريب. فعلى نموذج مفتوح، يسرّع رأس MTP الخاص به وDFlash العام الدورة بمقدار 1,6–2 مرة عند الحمل المنخفض، وبمقدار 1,2–1,3 مرة عند 128 مستخدمًا.
ودُرّبت المسوِّدات على ردود النموذج نفسه الذي يعمل في الإنتاج، فهي تخمّن تتمة كلامه هو، لا نصًّا صحيحًا بالمعنى المجرد. وعلى كل عقدة، شغّلت 6 وحدات GPU خوادم vLLM مع النموذج الكبير، وخُصصت وحدتان أخريان لتدريب المسودّة. وبلغت ميزانية التجربة الأولية 847 ألف سطر و39 مليون رمز من الردود.
أين يسهل تعطيل بيئة الإنتاج
أكثر الملاحظات عملية تخصّ الطرق التي لا تحتاج إلى تدريب. فطريقتا n-gram وsuffix decoding في vLLM 0.30 تفسدان الردود على نموذج هجين بانتباه خطي. وقد رصد المؤلفون نمطًا مطّردًا وأجروا تجربة ضابطة. والسبب أن الانتباه الخطي يحتفظ بحالة واحدة ذات حجم ثابت، ولا يمكن شطب مساهمة الرموز المرفوضة منها بدقة وبتكلفة منخفضة. كما أن مسارات الشيفرة الخاصة بهذه الطبقات في vLLM أحدث من المسار المخصص لذاكرة KV-cache الاعتيادية. وهناك وجد الفريق قيدين: أحدهما يفسد الردود، والآخر يمنع تفعيل التحقق التكيّفي.
وثمة تحفظ لا بد من ذكره بأمانة. فانخفاض الوسيط من 10,9 إلى 3,6 ثانية هو نتيجة الانتقال في بيئة الإنتاج، لا نتيجة تجربة نقية، إذ لم يتغير فك الترميز وحده.
والخلاصة العملية للفرق التي تدير أنظمة مشابهة: إذا كان لديك نموذج هجين مع vLLM، فقارن نسبة JSON التالف لدى الأساس ولدى كل طريقة. فالترميز التخميني الصحيح لا ينبغي أن يغيّرها. وبالنسبة للردود المهيكلة القصيرة، تستحق المسوِّدات المتوازية النظر. أما المسودّة الخاصة أو رأس MTP، فالأفضل تدريبهما إضافيًا على ردود نموذجك أنت.
- 28 أبريل 2026Wildberries & Russ تحدد مستوى نضج البيانات اللازم لوكلاء ذكاء اصطناعي دقيقين
- 2 مايو 2026كيف يساعد الذكاء الاصطناعي في كتابة اختبارات الوحدة: تجربة Wildberries
- 30 أكتوبر 2026Inclusion AI تسرّع توليد LLM حتى 6,9 مرة بفضل شجرة المسوّدات
- 2 نوفمبر 2026NVIDIA تطلق Nemotron 3.5 Bolt E4B بحجم 4 غيغابايت وسرعة 133 توكن في الثانية على RTX 5070
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا يفيد التحقق من التخمينات؟
لا يصطدم توليد النص بنموذج كبير بحدود الحوسبة، بل بحدود الذاكرة. فلإنتاج رمز واحد تقرأ وحدة GPU جميع الأوزان المشاركة في الحساب، بينما لا تجري إلا قدرًا يسيرًا من العمليات الحسابية. وإذا أُدخلت ثمانية رموز دفعة واحدة، فإن تكلفة التمريرة تكاد لا تتغير، لأن الأوزان تُقرأ مرة واحدة. لذلك تقترح المسودّة تتمة للنص، ويقبل النموذج الكبير أطول جزء صحيح منها. وعند أول خطأ يضع رمزه هو. وما دام التحقق سليمًا، فإن توزيع ردود النموذج المستهدف لا يتغير. فالمسودّة الضعيفة لا تفسد النص، بل تُصيب بنسبة أقل.
ما أبرز التفاصيل حول ما أظهرته منصة الاختبار؟
لا يمكن القياس في بيئة الإنتاج، لأن المساعد يتعامل مع أنظمة مجاورة تفرض حدودًا صارمة على عدد الطلبات في الثانية (RPS). لذلك بنى الفريق منصة اختبار معزولة بالشيفرة نفسها والنموذج نفسه ونفس إعدادات vLLM. وجرى الاختبار على 449 دورة من 300 جلسة لم تكن ضمن بيانات التدريب. وقيس زمن الدورة كاملة تحت الحمل، لا عدد الرموز في الثانية، لأن هذا ما يراه المستخدم فعليًا. وأعطت الطريقة نفسها تباينًا بين التشغيلات بلغ 9% عند الحمل المنخفض و4,5% عند 128 مستخدمًا.
ما أبرز التفاصيل حول أين يسهل تعطيل بيئة الإنتاج؟
أكثر الملاحظات عملية تخصّ الطرق التي لا تحتاج إلى تدريب. فطريقتا n-gram وsuffix decoding في vLLM 0.30 تفسدان الردود على نموذج هجين بانتباه خطي. وقد رصد المؤلفون نمطًا مطّردًا وأجروا تجربة ضابطة. والسبب أن الانتباه الخطي يحتفظ بحالة واحدة ذات حجم ثابت، ولا يمكن شطب مساهمة الرموز المرفوضة منها بدقة وبتكلفة منخفضة. كما أن مسارات الشيفرة الخاصة بهذه الطبقات في vLLM أحدث من المسار المخصص لذاكرة KV-cache الاعتيادية. وهناك وجد الفريق قيدين: أحدهما يفسد الردود، والآخر يمنع تفعيل التحقق التكيّفي.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.