باحثون يزيلون الضجيج من تدريب MTP في نماذج LLM بسطر برمجي واحد

تحلّ كل نماذج اللغة الكبيرة الحديثة تقريبًا مهمة أصعب قليلًا من المعتاد أثناء التدريب المسبق. فهي لا تتنبأ بالتوكن التالي فحسب، بل بعدة توكنات قادمة أيضًا. تُسمّى هذه التقنية multi-token prediction، أو MTP. ولها غرضان: يتحسن أداء النموذج في المهام ذات الأفق البعيد مثل الرياضيات والبرمجة، ويمكن استخدام «الرؤوس» الإضافية كمُعدّي مسودات سريعين في فك الترميز التخميني. فالمسودة المكوّنة من عدة توكنات تُعدّ بتكلفة زهيدة، ثم يتحقق منها النموذج الأساسي في تمريرة واحدة. وتوصّل باحثو مشروع Soft-MTP إلى أن التدريب القياسي لهذه الرؤوس ينطوي على شائبة مشوِّشة، واقترحوا طريقة لإزالتها. ويكفي لذلك سطر برمجي إضافي واحد.

ما المشكلة في تدريب MTP المعتاد

تُدرَّب رؤوس MTP بالإنتروبيا التقاطعية القياسية قياسًا إلى البيانات الحقيقية. وأظهر المؤلفون أن تدرّج دالة الخسارة هذه ينقسم إلى جزأين، وذلك بدقة تامة ودون أي تقريب.

• الجزء الأول هو التقطير الذاتي بمقياس KL. تقيس KL-divergence مدى اختلاف توزيع احتمالي عن آخر. وهي هنا تسحب كل رأس MTP نحو تنبؤ النموذج نفسه للتوكن ذاته. وهذا الجزء بالتحديد هو الذي يرفع نسبة المسودات المقبولة في فك الترميز التخميني، لأن توكن الرأس لا يُقبل إلا إذا طابق تنبؤ النموذج الأساسي. • الجزء الثاني هو الباقي. وهو تدرّج الإنتروبيا التقاطعية المعتادة للتوكن التالي قياسًا إلى البيانات، لكنه يصل عبر مسار آخر. نسبة الإشارة إلى الضجيج فيه منخفضة، فيطغى على إشارة KL المفيدة.

لماذا يكون الباقي مشوَّشًا؟ التوكن المستهدف في البيانات عيّنة واحدة محددة من التوزيع الحقيقي، أي متجه «ساخن» (one-hot) فيه واحد في موضع واحد. وتباين هذه العيّنة لا يزول بكبر النموذج ولا بطول التدريب. وقد قاس المؤلفون ذلك مباشرة. نسبة الإشارة إلى الضجيج في الباقي أقل بوضوح منها في مكوّن KL، ويتسع الفارق مع زيادة حجم النموذج. وإضافة إلى ذلك، يتجه الباقي عكس التحديث الذي تتلقاه مهمة التنبؤ بالتوكن التالي الأساسية. والنتيجة أنه يضر بتدريب رؤوس MTP وبتدريب النموذج نفسه معًا.

سطر واحد بدل مصفوفات بحجم المعجم

يمكن الحصول على تدرّج KL النقي بالطريقة المباشرة، وذلك ببناء توزيعَي المعلّم والتلميذ وتصغير الفرق بينهما. لكن مع معجم من عشرات الآلاف من التوكنات، سيتعين حفظ مصفوفات لوجِتات (logits) ضخمة في الذاكرة. كما أن هذا الخيار لا يعمل مع نوى الإنتروبيا التقاطعية «المدمجة» القياسية (fused kernels)، وهي مصمَّمة أصلًا لتجنب تجسيد هذه المصفوفات. ولهذا تدرّب النماذج المتقدمة رؤوس MTP عمليًا بالإنتروبيا التقاطعية المعتادة.

اقترح المؤلفون حيلة KL gradient-recovery trick. فإذا اشترك توزيعان في رأس إخراج خطي واحد، أمكن استعادة تدرّج KL بينهما بدقة بدمج تدرّجَي إنتروبيا تقاطعية جرى حسابهما أصلًا. من الناحية التقنية، هذا توجيه للتدرّج بأسلوب straight-through: يُضاف إلى الحالة المخفية للرأس الأساسي التعبير hk.detach() - hk. لا تتغير القيمة بذلك، فيجري تدريب المهمة الأساسية كما كان. لكن تدرّجًا إضافيًا يتسرب إلى تمثيل MTP، ومع تدرّج خسارة MTP المعتاد يطرح هذا التدرّج الباقي المشوَّش. وفي النهاية لا يصل إلى رؤوس MTP والجذع المشترك للنموذج سوى إشارة KL.

هذه هي آلية Soft-MTP. فهي لا تضيف معاملات جديدة، ولا تُحدث تكاليف حسابية إضافية ملحوظة. وتعمل مع MTP بأسلوب DeepSeek ومع نسخة Meta، وتتوافق كذلك مع التوازي المستخدم في التدريب المسبق للنماذج الكبيرة. الشيفرة منشورة على GitHub: JaydenTeoh/Soft-MTP.

ماذا أظهرت التجارب من 167M إلى 1,2B

درّب المؤلفون نماذج بأحجام من 167 مليون إلى 1,2 مليار معامل، وقارنوا Soft-MTP بـ MTP القياسي.

• الـ perplexity عند التنبؤ بالتوكن التالي أقل في جميع الأحجام، ويتسع الفارق مع زيادة الحجم. • الـ perplexity لرؤوس MTP أقل ابتداءً من النموذج ذي 689 مليون معامل. • يبقى الفارق في الدقة لصالح Soft-MTP في المهام دون تدريب إضافي (zero-shot) عند كل حجم. • يتسارع فك الترميز التخميني الذاتي في جميع المجالات التي جرى اختبارها. • بعد التدريب الإضافي، يحل النموذج ذو 1,2 مليار معامل مسائل الرياضيات والبرمجة بصورة أفضل.

وقارن الباحثون الطريقة على حدة بتصغير KL المباشر الذي يتطلب حساب اللوجِتات صراحةً. في معظم المقاييس لا يقل Soft-MTP عنه أداءً، بل يتفوق عليه في بعضها. والسبب المرجَّح أن Soft-MTP ما زال يدرّب رأس الإخراج المشترك بالإنتروبيا التقاطعية المعتادة قياسًا إلى البيانات. أما مع KL النقي فكان هذا الرأس سينجرف نحو تنبؤات النموذج نفسه.

الثمن والقيود

للطريقة مفاضلة صريحة. فبعد إزالة الباقي المشوَّش، يُدخل Soft-MTP انحيازًا: إذ تنجذب رؤوس MTP إلى توزيع النموذج نفسه لا إلى التوزيع الحقيقي للبيانات. ويرى المؤلفون أن هذه المقايضة تزداد جدوى مع كبر النطاق، لأن خطأ النموذج المعلّم يتناقص بينما يبقى ضجيج العيّنة. كما أن رؤوس MTP لازمة في المقام الأول لتسريع الاستدلال، وهناك تحديدًا يكون التطابق مع تنبؤ النموذج الأساسي هو المطلوب.

أما الخلاصة العملية للفرق التي تدرّب نماذج LLM خاصة بها مسبقًا مع MTP فبسيطة. التعديل صغير جدًا، ولا يكلّف شيئًا في الذاكرة ولا في السرعة، ولا يعطّل نوى fused المعتادة. لكن التجارب مقتصرة على نماذج حتى 1,2 مليار معامل، فلا تزال النتيجة بحاجة إلى اختبار على مقياس DeepSeek-V3. غير أن الاتجاه الذي يكبر فيه المكسب مع كبر النموذج يبدو مشجعًا.