فريق UCLA يدفع حدود السرعة والجودة في speculative diffusion بمقبضين

يصطدم تسريع استدلال النماذج اللغوية الكبيرة منذ زمن طويل بالخيار نفسه: إما أن تحصل على ما كان سيُنتجه النموذج الكبير بالضبط، وإما أن تدفع من الجودة ثمنًا للسرعة. تُبيّن ورقة فريق UCLA بعنوان Speculative Diffusion is a Tale of Two Tradeoffs (arXiv 2610.31819) أن لهذا الخيار مقبضين لا مقبضًا واحدًا، وأنهما يعملان معًا بكفاءة أعلى مما يعملان منفردين. مؤلفو الورقة هم Aaron Zorel وGuy Van den Broeck وAditya Grover وDaniel Israel.

مقبضان بدل مقبض واحد

يعمل speculative decoding على النحو التالي: يقترح نموذج مسودة سريع عدة رموز (tokens)، ثم يتحقق منها نموذج انحداري ذاتي كبير بوصفه مُدقِّقًا (verifier) في تمريرة متوازية واحدة. تُقبل الرموز المناسبة وتُرفض غير المناسبة. وأهم خصائص المخطط الكلاسيكي أنه lossless بالنسبة إلى توزيع المُدقِّق: تزداد السرعة وتبقى الجودة كما هي.

تعمل النماذج اللغوية الانتشارية (dLLM) بطريقة مختلفة. فهي تولّد الرموز بالتوازي، وكلما قلّ جهد الانتشار (عدد خطوات إزالة الضوضاء) لكل كتلة، كانت النتيجة أسرع وأسوأ جودةً. وتجعل هذه الخاصية من التوليد المتوازي مرشحًا قويًا لدور نموذج المسودة، إذ تُنتَج المسودة بتكلفة منخفضة وككتلة كاملة. ومن هنا ينشأ speculative diffusion.

المقبض الأول هو جهد الانتشار. والثاني هو تساهل القبول. يمكن تعميم speculative decoding نفسه إلى نمط lossy: إذا خُفِّف معيار قبول الرموز بالنسبة إلى توزيع المُدقِّق، يُقبل عدد أكبر من رموز المسودة ويصبح التوليد أسرع. والثمن هو الانحراف عمّا كان سيُنتجه المُدقِّق.

ما الذي بحثته الورقة تحديدًا

لا تُثبّت الورقة مقبضًا واحدًا وتضبط الآخر، بل تستكشف حدود باريتو الممكنة كاملةً عند تغيير المعاملين معًا. وخط المقارنة الأساسي هو مسودة من خطوة انتشار واحدة، أي أسرع صيغ المسودة وأخشنها.

أظهرت التجارب أن الضبط المشترك لجهد الانتشار وتساهل القبول يوسّع جبهة السرعة والجودة مقارنةً بالمسودة الانتشارية ذات الخطوة الواحدة. بعبارة أخرى، يمكن الحصول على سرعة أكبر عند الجودة نفسها، أو على جودة أفضل عند السرعة نفسها. ويعود ذلك إلى أن للمقبضين كلفتين مختلفتين: فأحيانًا يكون الأجدى إنفاق خطوة إضافية من إزالة الضوضاء مع إبقاء المُدقِّق صارمًا، وأحيانًا يكون الأجدى ترك المسودة خشنة وتخفيف معيار القبول.

المعاملات التي تتناولها الورقة

• Speculative decoding — تسريع نماذج LLM الانحدارية الذاتية عبر نموذج مسودة؛ وفي صيغته الكلاسيكية لا يغيّر توزيع المُدقِّق. • Diffusion LLM (dLLM) — نماذج تولّد الرموز بالتوازي؛ تزداد السرعة عند خفض جهد الانتشار وتنخفض الجودة. • جهد الانتشار (diffusion effort) — المقبض الأول، وهو عدد خطوات إزالة الضوضاء في نموذج المسودة. • تساهل القبول (acceptance leniency) — المقبض الثاني، وهو مرونة معيار قبول الرموز بالنسبة إلى توزيع المُدقِّق. • جبهة باريتو للسرعة والجودة — مجموعة أفضل المفاضلات الممكنة، وهي ما تسعى الورقة إلى دفعه إلى الأمام. • خط الأساس — single-step diffusion drafting، أي مسودة من خطوة انتشار واحدة.

لمن يهم هذا عمليًا

بالنسبة إلى من يبنون منظومات الاستدلال، تُعدّ الورقة حجة ضد إعداد موحّد يُطبَّق على جميع الحالات. فإذا كانت الخدمة تتحمّل انحرافات طفيفة عن التوزيع المرجعي (المحادثة، أو توليد المسودات، أو المعالجة الجماعية للنصوص)، فإن تخفيف معيار القبول يمنح تسريعًا إضافيًا فوق المسودة الانتشارية. وإذا كانت الدقة مطلوبة، كما في الشيفرة البرمجية أو البيانات المنظّمة، فيمكن الإبقاء على قبول صارم وإنفاق مزيد من خطوات إزالة الضوضاء.

والاستنتاج العملي للمهندسين أن المعاملين يستحقان الضبط المشترك لا المتتابع، وأن تقييم النتيجة ينبغي أن يستند إلى منحنى السرعة والجودة لا إلى نقطة واحدة. أما بالنسبة إلى باحثي المسودات الانتشارية، فتضع الورقة إطارًا للمقارنة: على نموذج dLLM جديد يؤدي دور المسودة أن يُظهر تفوقه على الجبهة كلها، لا عند صرامة مُدقِّق ثابتة فقط. الورقة ما تزال حديثة، ولم تجمع في صفحة Hugging Face Daily Papers سوى ثلاثة تصويتات إيجابية (upvotes)، لكنها تطرح السؤال المنهجي بدقة: أين، في ثنائية نموذج المسودة والمُدقِّق، تكون التضحية بالجودة مقابل السرعة أقل كلفة.