DScout يسرّع Qwen3-8B بمقدار 4,14 مرة بفضل مسودة انتشارية

قدّم باحثون DScout، وهي طريقة لتدريب المسودة الانتشارية (drafter) وضبطها من أجل فك الترميز التخميني (speculative decoding). في ستة اختبارات معيارية، يحقق DScout تسريعًا متوسطًا قدره 3,84× على Qwen3-4B و4,14× على Qwen3-8B مقارنةً بالتوليد الانحداري الذاتي المعتاد. وأمام أفضل الحلول الأساسية القائمة، يبلغ التفوق 9,1% و7,1% على التوالي. كما تضيف سياسة منفصلة لاختيار الإعداد في مرحلة الاستدلال ما يصل إلى 9,75% فوق الإعدادات الثابتة لـ DScout.

أين تضيع السرعة في فك الترميز التخميني

المخطط معروف: تقترح مسودة صغيرة عدة رموز (tokens)، ويتحقق النموذج الهدف منها بالتوازي. وتذهب المسودات الانتشارية أبعد من ذلك، إذ تولّد كتلة كاملة من الرموز دفعة واحدة بدل رمز واحد في كل مرة. والمنطق بسيط: كلما زاد عدد المقترحات وارتفع متوسط طول السلسلة المقبولة (MAT)، أصبح النظام أسرع. ويبيّن المؤلفون أن هذا المنطق يختل في موضعين.

أولًا، لا تقبل عملية التحقق إلا بادئة متصلة. فإذا رُفض الرمز في الموضع الثاني، تضيع التنبؤات الصحيحة في الموضعين الخامس والسادس هباءً. أما دالة الخسارة المعتادة التي تحسب متوسط الخطأ عبر جميع المواضع فلا تراعي ذلك. وثانيًا، لا يضمن ارتفاع MAT ارتفاع الإنتاجية. فالمسودة الأعمق والكتلة الأطول تطيلان كل جولة، وقد يذهب المكسب في عدد الرموز المقبولة كله في زمن التأخير.

عاملان تحليليان بدل مقياس واحد

يتعلق التحليل الأول بالتدريب. يفكك DScout خسارة المواضع إلى ثلاثة مكوّنات: إدراج الموضع في التدريب (inclusion)، ووزنه (weighting)، وخطأ التنبؤ (prediction loss). وقد أوحى هذا التفكيك بثلاثة أساليب محددة: التدريب بآفاق مختلطة (mixed-horizon training)، وإزالة الإخفاء داخل الكتلة (intra-block unmasking)، والخسارة الموزونة باحتمال القبول. وتضبط هذه الأساليب معًا إشارة التدريب بما يتوافق مع طريقة عمل التحقق من البادئة، وترفع MAT.

ويتعلق التحليل الثاني بالاستدلال. تُكتب الإنتاجية بوصفها نسبة MAT إلى زمن الجولة الواحدة. ومن ذلك يتضح ما ينبغي التحكم فيه: عمق الاشتراط على النموذج الهدف (target-conditioning depth)، وعمق المسودة نفسها، وحجم الكتلة أثناء الاستدلال. ويُختار لكل حمل إعداد خاص به، لا إعداد واحد للجميع.

أرقام من الورقة البحثية

• Qwen3-4B: تسريع متوسط قدره 3,84× مقارنةً بالتوليد الانحداري الذاتي، وبفارق 9,1% لصالحه أمام أقوى حل أساسي.
• Qwen3-8B: تسريع متوسط قدره 4,14×، وبفارق 7,1% لصالحه.
• أُجري التقييم على ستة اختبارات معيارية.
• تضيف سياسة اختيار الإعداد تسريعًا إضافيًا يصل إلى 9,75% مقارنةً بإعداد DScout الثابت.
• أُجري التحقق على نماذج مختلفة وعند مستويات تزامن مختلفة.

ماذا يعني ذلك لمهندسي الاستدلال

الخلاصة العملية الأهم: لا ينبغي اعتبار MAT مقياسًا مستهدفًا. فإذا كنتم تضبطون فك الترميز التخميني في منظومتكم الخاصة، فقيسوا عدد الرموز في الثانية على حمل حقيقي، وانظروا إلى العاملين معًا: MAT وزمن الجولة. يعتمد الحجم الأمثل للكتلة وعمق المسودة على نمط الطلبات ومستوى التزامن، ولذلك يُرجَّح أن يترك الإعداد الموحد لكل الأنماط جزءًا ملحوظًا من السرعة غير مستغل. وتقدّر الورقة هذا الجزء بما يصل إلى 9,75%.

وثمة قيود أيضًا. فالنتائج مقدَّمة لـ Qwen3-4B وQwen3-8B فقط. أما كيف ستتصرف الطريقة مع نماذج أكبر أو ذات بنية مختلفة فلا يُعرف من الوصف المتاح. والمكسب فوق الحل الأساسي القوي يبلغ 7–9%، وهو تحسين هندسي لا نقلة نوعية. لكنه تحقق دون تغيير النموذج الهدف، كما أن فكرة تدريب المسودة بما يناسب قبول البادئة تنطبق أيضًا خارج المخططات الانتشارية.