فك الترميز التخميني المتوازي يسرّع SGLang حتى 4 أضعاف ويصبح مفتوح المصدر

إذا كنت تشغّل نماذج لغوية كبيرة في بيئة الإنتاج، فمن المرجح أنك سمعت بالفعل بفك الترميز التخميني. الفكرة بسيطة: يتنبأ نموذج اقتراح صغير بسرعة بعدة رموز مسبقًا، ثم يتحقق منها النموذج الكبير في تمريرة واحدة. وإذا صحت التنبؤات، تحصل على عدة رموز بتكلفة خطوة واحدة، دون تغيير جودة الإجابة. ولهذا تحديدًا أصبحت الطريقة شبه معيار في منظومات الاستدلال المستخدمة في الإنتاج. والآن ظهر بحث يدفعها خطوة أخرى إلى الأمام: توليد المقترحات بالتوازي مع الحفاظ على الاعتماديات السببية. ويعلن البحث عن زيادة معدل المعالجة في SGLang حتى 4 أضعاف، مع إتاحة الشيفرة للجميع.

أين تكمن مشكلة EAGLE-3؟

يُعد EAGLE-3 من أقوى أساليب فك الترميز التخميني. وهو يولّد المقترحات بطريقة الانحدار الذاتي: للتنبؤ بالرمز الخامس، يجب أولًا التنبؤ بالرابع، وهكذا على امتداد السلسلة. تنبؤاته دقيقة، لكنه يدفع ثمن ذلك وقتًا. فكل رمز إضافي في المقترح يعني تمريرة أمامية تسلسلية أخرى. وهنا تظهر المعضلة المألوفة: تريد التنبؤ بعدد أكبر من الرموز مسبقًا، لكن توليد المقترحات نفسه يبدأ بإبطاء العملية واستنزاف مكاسب السرعة.

تخيّل خط إنتاج ينتظر فيه كل عامل انتهاء العامل الذي يسبقه. لا جدوى من إضافة عمال، لأن طول سلسلة الخطوات هو ما يحدد السرعة.

ما البديل المقترح لهذه السلسلة؟

سبق أن خطا DFlash خطوة نحو الحل. فهو يستلهم النماذج اللغوية القائمة على الانتشار، ويولّد المقترح كاملًا بالتوازي: تمريرة واحدة عبر شبكة الاقتراح تنتج كتلة كاملة من الرموز دفعة واحدة. وبذلك لا يعود زمن الاستجابة يزداد مع طول المقترح. لكن للتوازي الكامل ثمنًا: تُتوقّع رموز الكتلة باستقلال شبه تام بعضها عن بعض، بينما تعتمد الكلمة التالية في اللغة بشدة على سابقتها. وقد يؤدي ذلك إلى انخفاض نسبة الرموز التي يقبلها نموذج التحقق.

ويبدو من عنوان البحث الجديد أنه يعالج هذا التعارض تحديدًا. فالاعتماديات السببية بين الرموز المقترحة مضمّنة في عمق شبكة الاقتراح نفسها: بدلًا من خطوات متتابعة زمنيًا، تُشفَّر الاعتماديات عبر الطبقات التي تعبرها تمريرة متوازية واحدة. وبعبارة أبسط، يُؤخذ الترتيب في الحسبان داخل تمريرة واحدة، بدلًا من عدة تمريرات متعاقبة. وهكذا يحتفظ توليد المقترحات بسرعة الأساليب المتوازية، مع الاقتراب من دقة أساليب الانحدار الذاتي.

للاطلاع على تفاصيل البنية وأحجام النماذج وجداول القياس الكاملة، يُفضّل الرجوع إلى الورقة البحثية ومستودع الشيفرة. أما عبارة «حتى 4 أضعاف» فتخص معدل المعالجة في SGLang، وكما هو الحال دائمًا مع كلمة «حتى»، فهي تصف أفضل السيناريوهات، لا السيناريو المعتاد.

كيف تستفيد من ذلك عمليًا؟

أولًا: إذا كنت تستخدم SGLang وفعّلت فك الترميز التخميني بالفعل، فمن المنطقي اختبار الطريقة الجديدة على حركة الطلبات لديك. تعتمد المكاسب بشدة على النموذج وطول الإجابات وحجم الدفعة ونسبة الرموز التي يقبلها نموذج التحقق. ومع الإجابات القصيرة أو الدفعات الكبيرة، قد يكون الأثر أكثر تواضعًا بكثير مما يوحي به العنوان.

ثانيًا: لا تكتفِ بالنظر إلى عدد الرموز في الثانية. فزمن الوصول إلى الرمز الأول، والسلوك تحت الأحمال المرتفعة، واستهلاك شبكة الاقتراح لذاكرة وحدة معالجة الرسومات، كلها عوامل مهمة أيضًا. وقد تقلّص الذاكرة الإضافية المخصصة لتوليد المقترحات المساحة المتاحة لذاكرة التخزين المؤقت KV، وتخفض عدد الطلبات المتزامنة.

ثالثًا: يتطلب تدريب شبكة الاقتراح بيانات وموارد حوسبة. وإذا أجريت ضبطًا دقيقًا للنموذج الأساسي أو استبدلته، فسيتعين عليك إعادة تدريب نموذج الاقتراح، وإلا ستنخفض نسبة الرموز المقبولة. أدرج ذلك ضمن تكلفة التطبيق.

القيود والخلاصة

تأتي هذه النتائج حتى الآن من منشور بحثي واحد، ولا تزال عمليات إعادة إنتاجها بصورة مستقلة قليلة. وترتبط الطريقة بمنظومة برمجية محددة، لذا سيتطلب نقلها إلى vLLM أو TensorRT-LLM أو نوى حوسبة مطوّرة داخليًا بعض العمل. ومع ذلك، فالاتجاه واضح: السباق يدور حول تقليل الخطوات التسلسلية اللازمة لكل رمز، لا حول جعل النموذج الأساسي أكثر ذكاءً. وبالنسبة إلى الفرق التي أصبحت فاتورة وحدات معالجة الرسومات أكبر بنود إنفاقها، تستحق هذه الشيفرة المفتوحة، بما تعلنه من زيادة الأداء عدة أضعاف، اختبارًا في دورة التطوير المقبلة: يكفي مقارنة معدل المعالجة ونسبة الرموز المقبولة على طلبات فعلية قبل التطبيق وبعده.