EAGLE 3.1: كيف عولجت مشكلة عدم استقرار فك التشفير التخميني في نماذج اللغة الكبيرة

صدرت النسخة EAGLE 3.1 بالتعاون بين فرق EAGLE وvLLM وTorchSpec. وتعالج النسخة الجديدة من خوارزمية فك التشفير التخميني مشكلة حرجة تتعلق بعدم الاستقرار، كانت تظهر عند استدلال نماذج اللغة الكبيرة في بيئات الإنتاج.

كيف يعمل فك التشفير التخميني

فك التشفير التخميني تقنية لتسريع استدلال نماذج اللغة الكبيرة. فبدلًا من توليد الرموز واحدًا تلو الآخر (بالأسلوب الانحداري الذاتي)، تتنبأ الخوارزمية بعدة رموز لاحقة في وقت واحد، ثم يتحقق النموذج الأساسي منها بالتوازي عبر تمريرة أمامية واحدة (forward pass). وهذا يتيح تجنّب مرات الوصول الزائدة إلى وحدة GPU، ويُسرّع توليد الإجابات بدرجة كبيرة.

وتتخصص EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) تحديدًا في التنبؤ بعدة رموز بالتوازي بمساعدة نموذج مساعد صغير. والنهج معروف منذ زمن، لكن أنظمة الإنتاج الفعلية ذات الدفعات الكبيرة والسياقات الطويلة واجهت فيه مشكلات في الموثوقية.

مشكلة انجراف الانتباه

المشكلة الرئيسية في EAGLE 3.0 والإصدارات الأولى هي attention drift أو انجراف الانتباه. فحين يتنبأ النموذج المساعد بعدة رموز متتالية، تبدأ الحسابات الداخلية لآلية الانتباه (attention)، وهي أهم جزء في المحوّل (Transformer)، بالابتعاد عن السلوك الفعلي للنموذج الأساسي. ويتراكم هذا الانحراف، فتنخفض جودة التنبؤات في النهاية.

وظهر ذلك عمليًا على النحو الآتي:

• هبوط مفاجئ في جودة الرموز المولَّدة ضمن التسلسلات الطويلة
• عدم استقرار عند أحجام الدفعات الكبيرة (أكثر من 32)
• أعطال دورية في الإنتاج تستلزم الرجوع إلى أساليب أبطأ لكنها موثوقة
• ارتفاع زمن الاستجابة (latency) بسبب إجراءات التعويض ومنطق الرجوع الاحتياطي (fallback)

كيف تعالج EAGLE 3.1 هذه المشكلة

تتضمن EAGLE 3.1 آلية مُعاد تصميمها لمعايرة أوزان الانتباه. فالخوارزمية تزامن الآن حالاتها الداخلية مع النموذج الأساسي بصورة دورية، ما يمنع تراكم الأخطاء. وبدلًا من الاكتفاء بالتنبؤ بالرموز، ترصد EAGLE 3.1 بنشاط أي تباعد في آلية الانتباه وتصححه أثناء التشغيل.

أبرز التحسينات:

• تثبيت أوزان الانتباه عبر تحقق دوري مع النموذج الأساسي
• تصحيح تكيّفي للرموز المتنبَّأ بها بحسب درجة الثقة فيها
• معالجة محسّنة للرموز النادرة والحالات الحدّية
• قابلية أفضل للتوسّع مع دفعات يتراوح حجمها من 1 إلى 512

ويرافق الإصدار تصحيحات (patches) لـvLLM (إطار الاستدلال الشائع) وTorchSpec (المعيار المعتمد لفك التشفير التخميني). كما أضاف الفريقان وضع توافق عكسي، ليتمكن مشغّلو أنظمة الإنتاج القائمة من الترقية تدريجيًا.

النتائج في بيئة الإنتاج

تُظهر نتائج الاختبار ما يلي:

• تسريع الاستدلال بنسبة 20-30% في السيناريوهات القياسية
• استقرار عبر جميع أحجام السياق (حتى 128K رمز)
• توافق مع التكميم (4-bit وَ8-bit)
• دعم الاستدلال متعدد المستخدمين على وحدة GPU واحدة

ماذا يعني ذلك

تمثل EAGLE 3.1 خطوة عملية نحو جعل فك التشفير التخميني أداة موثوقة لنماذج اللغة الكبيرة في الإنتاج. فقد كان في السابق أقرب إلى تسريع تجريبي يُستخدم في ظروف خاضعة للتحكم. أما الآن، فبوسع مهندسي تعلّم الآلة (ML) إدخاله في الأنظمة الحية دون مخاوف.

وبالنسبة إلى الشركات التي تشغّل عناقيد استدلال ضخمة لنماذج اللغة الكبيرة (OpenAI وAnthropic وAWS وGoogle)، يعني ذلك إما إجابات أسرع للمستخدمين (خفض زمن الاستجابة بنسبة 20-30%)، وإما خفض نفقات GPU (إذ تلزم قدرة حوسبية أقل لتحقيق الإنتاجية نفسها). وكلا الخيارين ميزة تنافسية.

أما بالنسبة إلى النماذج المفتوحة (Llama وMistral)، فيعني ذلك أن استدلالها قد يصبح أكثر قدرة على المنافسة أمام الخدمات المملوكة، بفضل خوارزمية أفضل لفك التشفير التخميني وحدها.