DCOCO يسرّع استدلال LLM حتى 6,6x ويتفوق على المنافسين بنسبة 6–23%

نشر باحثون على arXiv أسلوب DCOCO (DFlash Contextual Corrector)، وهو يعالج نقطة الضعف الرئيسية في المُسوِّدات الانتشارية ضمن فك الترميز التخميني. إنه مُصحِّح خفيف يُبقي توليد المسودة متوازيًا، ويعيد إلى الكتلة الاعتماديات بين الرموز. وعلى أربعة نماذج تحقق وعشرة معايير قياس، سجّل أعلى متوسط إنتاجية في كل تهيئة جرى اختبارها. وبلغ أقصى تسريع 6,6x مقارنة بفك الترميز المعتاد. وعند 4–32 طلبًا متزامنًا يتفوق الأسلوب على أقوى منافس بنسبة 6–23%.

أين ينكسر التوليد المتوازي للمسودة

فكرة فك الترميز التخميني بسيطة. يقترح نموذج صغير يُسمّى المُسوِّد (drafter) عدة رموز إلى الأمام، ثم يتحقق منها النموذج الهدف الكبير في تمريرة متوازية واحدة. يُقبل كل ما يطابق تنبؤه هو. وكلما طال الجزء المقبول زادت السرعة.

جعلت المُسوِّدات الانتشارية هذه المنظومة أكثر جاذبية. فهي تعتمد على attention-backbone عميق بتنبؤات قوية، وتملأ المواضع المستقبلية بالتوازي دون أن تدفع كلفة الانحدار الذاتي التسلسلي. لكن للتوازي ثمنًا. فالرمز في الموضع الثالث من الكتلة يُتنبَّأ به دون معرفة أي رمز استقر في الموضع الثاني. وتختفي الاعتماديات داخل الكتلة، التي تنشأ من تلقاء نفسها في الانحدار الذاتي.

وعمليًا يبدو الأمر هكذا: كل رمز بمفرده معقول، لكن الرموز المتجاورة لا تنسجم معًا. فيرفض المُتحقِّق ذيل الكتلة، ويقصر طول المسودة المقبولة. وهكذا يضيع جزء من مكسب التوليد المتوازي للمسودة.

ماذا يفعل DCOCO

لم يعد المؤلفون إلى التوليد التسلسلي. فبدلًا من تثبيت مرشح واحد متصدّر لكل موضع، يُبقي DCOCO عدة مرشحين. ثم يقيّم بالتوازي مدى توافق المرشحين في المواضع المتجاورة بعضهم مع بعض، ويختار الرموز آخذًا السياق في الحسبان. وبحسب المؤلفين، فإن الكلفة الإضافية صغيرة.

الفارق الجوهري عن المُصحِّحات الحالية أنها تعمل بصورة تسلسلية. فهي تستعيد الاعتماديات أيضًا، لكنها تعيد إلى خط المعالجة (pipeline) الكلفة التسلسلية نفسها التي تخلّص منها المُسوِّد الانتشاري. وتشير الورقة إلى أنه عند حمل من 4–32 طلبًا متزامنًا تنخفض هذه المُصحِّحات إلى ما دون DFlash الأساسي دون أي تصحيح.

الأرقام الواردة في الملخص (abstract):

• 4 نماذج تحقق و10 معايير قياس في الاختبارات؛
• أعلى متوسط إنتاجية في كل تهيئة جرى تقييمها؛
• الأوضاع: فك ترميز جشع (greedy) وعشوائي (stochastic)، مع استدلال موسّع ودونه؛
• تسريع يصل إلى 6,6x مقارنة بفك الترميز المعتاد؛
• أفضلية بنسبة 6–23% على أقوى منافس عند 4–32 طلبًا متوازيًا.

ومن المهم أيضًا أن النتيجة تصمد في أوضاع سلاسل الاستدلال الطويلة. وهناك يكون التوليد أغلى ما يكون، ويحقق تسريع الاستدلال أكبر فائدة.

ما الذي ينبغي مراقبته عند التطبيق

هذه ورقة أولية (preprint)، وجميع الأرقام حصل عليها المؤلفون أنفسهم. ولا يتضمن الملخص تحققًا مستقلًا ولا بيانات عن نماذج أو عتاد محدد، لذا ينبغي قراءة 6,6x على أنه سقف أعلى، لا نتيجة متوقعة على حركة المرور لديكم.

وأمام الفريق الذي يشغّل خدمة LLM أمران يستحقان الاستخلاص من هذا العمل. أولًا، لا ينبغي مقارنة أساليب التسريع على طلب واحد فقط. فالمُصحِّح الذي يتفوق عند batch size 1 قد يخسر عند 8–32 طلبًا متزامنًا، والورقة تُظهر ذلك صراحة. ثانيًا، إذا كنتم تستخدمون DFlash بالفعل أو مُسوِّدًا انتشاريًا مشابهًا، فيبدو DCOCO طبقة إضافية فوقه، لا بديلًا للمنظومة كلها. ويُستحسن اختباره على prompts خاصة بكم وعلى نمط الحمل لديكم: بشكل منفصل للإجابات القصيرة وللاستدلال الطويل، وبشكل منفصل للعيّنات الجشعة والعشوائية (sampling). والمطلوب مراقبة متوسط طول الكتلة المقبولة وعدد الرموز النهائي في الثانية على GPU، لا مقياس واحد فقط.