DeLS-Spec يسرّع استدلال نماذج LLM دون إعادة تدريب النماذج

اقترح باحثون الطريقة DeLS-Spec، وهي نهج جديد لتسريع عملية توليد النصوص في نماذج اللغة. وتتيح الطريقة للمرة الأولى تحقيق تسريع كبير دون الحاجة إلى إعادة تدريب النماذج نفسها، ما يخفّض بدرجة ملحوظة العوائق أمام تطبيق مثل هذه التحسينات.

كيف يعمل speculative decoding

speculative decoding تقنية تسرّع استدلال LLM عبر توليد عدة رموز (توكنات) بالتوازي بدلًا من رمز واحد في كل مرة. يتنبأ نموذج صغير يُعرف بالمسوِّد (drafter) بالرموز المرشّحة، ثم يتحقق النموذج الأساسي من صحتها في تمريرة واحدة. فإذا تطابقت التنبؤات تُقبل الرموز، وإذا لم تتطابق تُعاد العملية.

وتولّد الطرق الأكثر تقدمًا، مثل DFlash، كتلة كاملة من الرموز في تمريرة واحدة، ما يزيد التسريع أكثر. لكن ذلك يخلق مشكلة: فالرموز داخل الكتلة تُتوقَّع عادةً بشكل مستقل، دون مراعاة التبعية السببية بينها.

مشكلة الطرق الحالية

حاولت طرق حديثة أخرى، مثل Domino وDSpark، إضافة السببية إلى التوليد المسوَّد المتوازي على مستوى الكتل (block-parallel drafting)، أي مراعاة التبعيات بين الرموز داخل الكتلة. غير أن ذلك تطلّب تدريب المسوِّد بالكامل من الصفر، وهو أمر مكلف ويحتاج إلى موارد حوسبة ضخمة. ولا تستطيع المؤسسات التي لا تملك بيانات بحجم بيتابايتات ولا عناقيد GPU واسعة النطاق تحمّل إعادة التدريب هذه.

ما الجديد في DeLS-Spec

تحل DeLS-Spec هذه المشكلة عبر تقسيم الأدوار بين خبيرين. تستخدم الطريقة نموذج DFlash القائم بوصفه «خبيرًا في السياق الطويل»، وتضيف إليه رأسًا محليًا خفيفًا بوصفه «خبيرًا في السياق القصير».

والميزة الأساسية أن الرأس المحلي يمكن تدريبه بشكل مستقل تمامًا، دون تدريب مشترك مع النموذج الأساسي أو مع هيكل DFlash (backbone). وهذا يخفّض التكاليف الحسابية بشكل حاد. والرأس المحلي شبكة صغيرة لا تنظر إلا إلى السياقات الأخيرة، وتتعلم التنبؤ بالرموز مع مراعاة التبعية السببية.

• طُبّقت الطريقة على نماذج Qwen3
• يتطلب التدريب أقل قدر من التكاليف، إذ لا يُدرَّب سوى المحوّل الخفيف
• أثناء الاستدلال تُدمج logits الصادرة عن الخبيرين
• الرأس المحلي مستقل عن إصدار بعينه من نقطة حفظ DFlash (checkpoint)
• تحسّن في السرعة وفي طول الرموز المقبولة على الاختبارات المعيارية

نتائج الاختبار

على اختبارات Qwen3 المعيارية، أظهرت DeLS-Spec تحسّنًا في سرعة التنفيذ (speedup) وفي متوسط طول الرموز المقبولة (average acceptance length) مقارنةً بـ DFlash. وينطبق ذلك على ثلاث فئات من المهام: الرياضيات والبرمجة وأنظمة الحوار.

لماذا يهم ذلك: تعني تسلسلات الرموز المقبولة الأطول أن المسوِّد يتنبأ بدقة أكبر، وأن النظام يستطيع توليد نص أكثر في كل تكرار، ما يؤثر مباشرة في معدل الإنتاجية.

لماذا يهم ذلك الصناعة

تسريع استدلال LLM ليس مسألة سرعة فحسب، بل مسألة اقتصاد أيضًا. فتدريب محوّل صغير أرخص من إعادة تدريب المسوِّد بالكامل أو النموذج الأساسي. وهذا يجعل أساليب التحسين في متناول المؤسسات التي لا تملك موارد لإعادة تدريب واسعة النطاق.

ومع ازدياد تعقيد LLM واستهلاكها للطاقة، تتراكم مثل هذه التحسينات التدريجية في كفاءة الاستدلال وتتحول إلى مكاسب ملموسة في السرعة والتكلفة. وتُبرز DeLS-Spec اتجاهًا مهمًا: فأفضل النتائج لا تتحقق غالبًا بإعادة تدريب النماذج الكبيرة، بل بدمج المكوّنات القائمة بأناقة.

ماذا يعني ذلك

يفتح هذا النهج طرقًا لتحسين LLM بصورة أيسر منالًا في المؤسسات من جميع الأحجام، ويتيح حتى للفرق الصغيرة تحقيق التسريع دون ميزانيات حوسبة ضخمة.