AWS وvLLM تعتمدان P-EAGLE لتسريع استدلال نماذج LLM الكبيرة حتى 1.69 ضعف

عرضت AWS وفريق vLLM تقنية P-EAGLE، وهي طريقة جديدة لتسريع استدلال نماذج اللغة الكبيرة دون تغيير النموذج الأساسي. وقد دُمجت هذه الطريقة بالفعل في vLLM، وحققت في الاختبارات مع GPT-OSS 20B إنتاجية تفوق EAGLE-3 التقليدي بما يصل إلى 1.69 ضعف.

أين كان عنق الزجاجة

يُعدّ فك الترميز التخميني (speculative decoding) منذ مدة من أكثر الطرق عملية لتسريع LLM أثناء الاستدلال. وتقوم الفكرة على أن نموذجًا مساعدًا يقترح مسبقًا عدة رموز تالية، ثم يتحقق النموذج الرئيسي بسرعة من الرموز التي يمكن قبولها. وقد حققت طريقة EAGLE مكسبًا ملحوظًا واستُخدمت في vLLM وSGLang وTensorRT-LLM.

لكن بقيت لديها مشكلة مهمة: لتوليد K من الرموز المسودّة، كان على نموذج drafter أن ينفّذ K من تمريرات forward pass المتتابعة. وكلما زاد عمق التخمين، ارتفع زمن التأخير الناتج عن إنتاج المسودة نفسها.

ولهذا اصطدم EAGLE الكلاسيكي بسقف خفي. فمن الناحية النظرية يُراد التخمين بعمق أكبر وقبول رموز أكثر في كل جولة، لكن العمل الإضافي لنموذج drafter بدأ عمليًا يلتهم المكسب. ويزيل مؤلفو P-EAGLE هذا القيد تحديدًا: إذ تُولَّد جميع الرموز المسودّة الـ K في تمريرة واحدة.

ويميل هذا التغيير بالميزان لصالح تخمين أكثر جرأة، خاصة في الإجابات الطويلة ومهام الشيفرة البرمجية، حيث تظهر كل عملية متتابعة زائدة في زمن الاستجابة (latency) والإنتاجية (throughput).

كيف يعمل P-EAGLE

تتكوّن بنية P-EAGLE من خطوتين. أولًا، يعالج النموذج المستهدف الموجّه (prompt) ويتنبأ بالرمز التالي كالمعتاد. وفي الوقت نفسه يحفظ النظام الحالات المخفية الداخلية (hidden states) لمواضع الموجّه وللرمز الجديد.

ثم يجمّع drafter المدخلات لجميع المواضع المستقبلية بالتوازي: فيستخدم للأجزاء المعروفة من التسلسل التضمينات الحقيقية (embeddings) والحالات المخفية، أما للمواضع التي لم تُوجد بعد فيضع أقنعة قابلة للتدريب ومتجهًا مخفيًا مشتركًا. بعد ذلك تُتوقَّع عدة رموز مستقبلية في forward pass واحد، لا عبر سلسلة من عدة خطوات.

وثمة صعوبة منفصلة تتعلق بالتدريب على التسلسلات الطويلة. تذكر AWS أن الطول الوسيط للتسلسل مع الموجّه والتوليد في GPT-OSS 120B على UltraChat بلغ 3891 رمزًا، بينما بلغ المئين التسعون 10800 رمز. ومع فك الترميز المسودّ المتوازي تنمو الذاكرة بسرعة كبيرة، لأن عدد المواضع يصبح N × K. ولمعالجة ذلك أضاف المؤلفون خوارزمية sequence partition: تقسّم التسلسل الطويل الواحد إلى أجزاء متصلة، وتحافظ على تبعيات attention الصحيحة بينها، وتتيح تجميع التدرجات (gradients) داخل مثال واحد، لا بين الدفعات (batches) المختلفة فحسب.

التكامل والأرقام

لم يقتصر الجانب العملي على الورقة البحثية: فقد أُضيف P-EAGLE بالفعل إلى vLLM بدءًا من الإصدار 0.16.0. ولتفعيله يكفي استخدام speculative decoding مع العلم parallel_drafting: true وتوصيل رأس drafter متوافق. وقد نشرت AWS نقاط حفظ جاهزة لكل من GPT-OSS 120B وGPT-OSS 20B وQwen3-Coder 30B، ما يتيح تجربة التقنية دون تدريب خاص من الصفر.

• ظهر التكامل في vLLM بدءًا من الإصدار 0.16.0
• يُفعَّل الوضع عبر العلم parallel_drafting: true
• تتوفر نماذج رؤوس P-EAGLE الجاهزة لـ GPT-OSS 120B وGPT-OSS 20B وQwen3-Coder 30B
• على NVIDIA B200 تراوح التحسن مقارنة بـ EAGLE-3 العادي بين 1.05× و1.69×
• تحققت أفضل إنتاجية لـ P-EAGLE في الاختبارات عند عمق تخمين K=7

وتبدو الصورة في المقاييس المرجعية ثابتة. ففي MT-Bench وHumanEval وSPEED-Bench حققت الطريقة الجديدة زيادة بنسبة 55–69% عند تزامن منخفض، وحافظت على مكسب بنسبة 5–25% حتى عند الحمل المرتفع. وإلى جانب السرعة، ارتفع طول القبول (acceptance length)، أي متوسط عدد الرموز المسودّة التي يقبلها المُتحقِّق في جولة واحدة. فعلى سبيل المثال، عند K=7 على HumanEval حصل P-EAGLE على 3.94 مقابل 3.03 لدى EAGLE-3، وعلى SPEED-Bench حصل على 3.38 مقابل 2.59.

وتشير AWS بصورة منفصلة إلى أن تشغيل GPT-OSS 20B مع EAGLE-drafter لا يزال يتطلب تصحيحًا من سطر واحد في vLLM، ومن المقرر تضمينه في أحد الإصدارات القادمة.

ماذا يعني ذلك

بالنسبة للفرق التي تستخدم vLLM في الإنتاج، يبدو P-EAGLE تحسينًا نادرًا لا يستلزم إعادة بناء المنظومة بالكامل: فالمخطط الجديد مدمج في بيئة التشغيل المألوفة، ويُفعَّل بالإعدادات مع نقطة حفظ متوافقة. وإذا حصل النظام البيئي سريعًا على مزيد من نماذج drafter المدرَّبة بصورة متوازية، فقد يصبح هذا النوع من speculative decoding المعيار الجديد لاستدلال LLM السريع والأقل كلفة.