ECHO تعلّم نماذج LLM التنبؤ بالتوكنات المقبلة دون وحدات إضافية وبنصف كلفة MTP

يقترح فريق مؤلفي ECHO طريقة لتدريب نموذج لغوي على التنبؤ بعدة توكنات مقبلة دون رؤوس أو وحدات منفصلة. تتنبأ الطبقة النهائية في النموذج نفسه بكل أفق. وتبلغ الكلفة الإضافية للتدريب نصف كلفة multi-token prediction الذي يُدرَّب على كل عمق. ويتركّز المكسب في دقة المهام اللاحقة (downstream) في الاستدلال المنطقي والبرمجة. وعند الاستدلال (inference) يعمل النموذج نفسه بوصفه drafter لنفسه في speculative decoding.

أين يتعثر MTP التقليدي

تُعدّ أساليب multi-token prediction مساعدة بحكم تصميمها. فخسارة الآفاق المتعددة تدرّب في الأساس الوحدات المتصلة بالـ backbone. وكل أفق جديد يعني وحدة إضافية ومرحلة تمرير إضافية. وكلما أُريد النظر أبعد في المستقبل، ارتفعت كلفة pretraining. ويشير المؤلفون إلى أثر ثانٍ: تصل الوحدات المساعدة إلى مرحلة التشبّع، ولا تعود العمق الإضافي يتحول إلى جودة أعلى.

ولهذا النهج جانب سلبي آخر عند الاستدلال. فالـ drafters المدرَّبة بعد الأوان تفقد اتساقها مع النموذج المستهدف في التوليد المفتوح عالي الإنتروبيا، أي في الحالات التي يكون التسريع فيها أشد ضرورة.

كيف يعمل ECHO

الفكرة هي جعل التنبؤ بالمستقبل جزءاً من المهمة الانحدارية الذاتية (autoregressive) نفسها، لا ملحقاً بها. فالطبقة النهائية في الـ backbone تتنبأ بجميع الآفاق. وتصل الإشراف (supervision) إلى المعاملات ذاتها التي تولّد التوكن التالي.

ويعالج Dynamic Depth Sampling (DDS) مشكلة كلفة العمق. ففي كل خطوة تدريب يُختار العمق عشوائياً، مع احتمالات تتناقص كلما زاد العمق. وتُدرَّب الآفاق القريبة كثيراً والبعيدة أقل، لكن النموذج يتعرّف عليها جميعاً. وDDS هو ما يحقق التوفير بمقدار نصف الكلفة الإضافية لـ MTP المدرَّب على كل عمق.

ما الذي يعلنه المؤلفون

لا يتضمن الملخص (abstract) جداول بمقاييس مطلقة، لذلك نورد أدناه ما ذُكر فيه فقط:

• كلفة التدريب: نصف الكلفة الإضافية لـ MTP الذي يُدرَّب على كل عمق.
• Pretraining: يتحول العمق المضاف إلى دقة في المهام اللاحقة (downstream) في الحالات التي تتشبّع فيها الوحدات المساعدة. ويتركّز الأثر في الاستدلال المنطقي والبرمجة.
• الاستدلال (inference): النموذج المدرَّب مسبقاً هو drafter لنفسه، ويمكنه التنبؤ لعمق أكبر مما تدرّب عليه.
• اتساق المسودة مع الهدف: يبقى قائماً في التوليد المفتوح عالي الإنتروبيا، حيث تفقده drafters المدرَّبة بعد الأوان (post-hoc).
• الثبات: تبقى الميزة قائمة عند مضاعفة ميزانية التوكنات، وعند إعادة تشغيل pretraining، وبعد supervised finetuning.

النقطة الأخيرة مهمة: فكثيراً ما تتلاشى تأثيرات pretraining بعد الضبط الإضافي أو مع seed مختلف. ويعلن المؤلفون أن ذلك لم يحدث هنا. ولا يمكن التحقق من هذا إلا من النص الكامل للورقة.

ما الذي ينبغي اختباره عملياً

بالنسبة إلى الفرق التي تجري pretraining لنماذجها الخاصة، يمثل ECHO وسيلة للحصول على إشارة كثيفة من التوكنات المستقبلية دون زيادة عدد الوحدات. ولا تحتاج هذه البنية إلى drafter إضافي لـ speculative decoding، فهو مضمَّن أصلاً في الأوزان. وهذا يبسّط النشر (deployment)، إذ لا حاجة إلى تدريب نموذج ثانٍ بشكل منفصل وإدارة إصداراته ومزامنته.

قبل نقل هذا النهج إلى خط الإنتاج الخاص بكم، ينبغي توضيح عدة أمور: ما أحجام النماذج وميزانيات التوكنات المستخدمة؛ وكيف يبدو التسريع الفعلي بالتوكنات في الثانية، لا الجودة وحدها؛ وما نسبة التوكنات المسودّة المقبولة في الحوارات المفتوحة؛ وكيف اختير توزيع الاحتمالات في DDS ومدى حساسيته للإعدادات. لا يرد شيء من ذلك في الملخص.

وإذا تأكدت النتائج على نطاق واسع، فسيظهر الأثر في موضعين معاً: في جودة البرمجة والاستدلال المنطقي في مرحلة pretraining، وفي كلفة الاستدلال (inference) عند التوليد الحر الطويل. أما الآن فهو ادعاء من فريق بحثي دون إمكانية إعادة إنتاج مستقلة، ويحسن التعامل معه بوصفه فرضية قوية يجب اختبارها على بياناتكم الخاصة.