Nous Research تسرّع التدريب المسبق لنماذج LLM بمقدار 2.5 مرة دون تغيير البنية المعمارية

طوّرت Nous Research طريقة Token Superposition Training (TST)، وهي طريقة تدريب مسبق مبتكرة من مرحلتين، تقلّص زمن تدريب النماذج اللغوية الكبيرة 2.5 مرة عند الكلفة الحسابية نفسها، دون أي تغيير في البنية المعمارية أو المُجزّئ (tokenizer) أو سلوك النموذج أثناء الاستدلال.

كيف تعمل طريقة Token Superposition Training

تقوم الطريقة على فكرة بسيطة لكنها فعّالة: في المرحلة الأولى من التدريب المسبق، يُحسب متوسط تمثيلات الرموز (token embeddings) المتجاورة ضمن مجموعات، أو «حقائب» (bags). فبدلاً من التنبؤ بكل رمز على حدة، يتعامل النموذج مع تمثيلات مجمّعة للتسلسلات. وهذا يتيح له معالجة المعلومات في كتل كبيرة، ويسرّع إلى حد كبير إعادة حساب التدرجات (gradients) أثناء الانتشار العكسي للخطأ. وعملياً، تعلّم المرحلة الأولى النموذجَ اكتشاف الأنماط على مستوى أعلى من التجريد.

أما المرحلة الثانية فهي أقصر مدةً بقليل، وينتقل فيها النموذج إلى التنبؤ القياسي بالرمز التالي، كما تفعل أي نموذج LLM معتاد. وفي هذه المرحلة يتكيّف بسرعة مع المهمة النهائية، ويعوّض أي خسائر محتملة في الجودة ربما نشأت في المرحلة الأولى. والانتقال بين المرحلتين سلس وطبيعي بالنسبة إلى بنية الشبكة العصبية، فلا توجد أي عيوب غريبة أو حالات عدم توافق.

وتكمن الميزة الأساسية لطريقة TST في أنها لا تمسّ البنية الداخلية للنموذج. يبقى عدد المعاملات (parameters) كما هو، ولا تتغير الأدوات المحيطة ولا المنظومة البرمجية: عدد الأوزان نفسه، والمُجزّئ نفسه، والمُحسِّن نفسه، سواء كان Adam أو SGD أو غيرهما. وعند الاستدلال، يتوافق النموذج تماماً مع أنظمة النشر القائمة. وهذا أمر حاسم للتطبيق الصناعي، حيث قد يتطلب تغيير البنية المعمارية إعادة كتابة كمّ كبير من الشيفرة.

على أي نماذج اختُبرت التقنية الجديدة

اختبرت Nous Research طريقة TST على نماذج مختلفة الأحجام والبنى للتأكد من عمومية النهج:

• 270M معامل (نماذج صغيرة للتجارب السريعة)
• 600M معامل (حجم قياسي للمشاريع البحثية)
• 3B معامل (بنية كثيفة، dense models)
• 10B معامل ببنية MoE (Mixture of Experts)

وعلى جميع هذه الأحجام أظهرت الطريقة تسريعاً ثابتاً بمقدار 2.5 مرة عند الكلفة الحسابية نفسها، مقيسةً بعمليات الفاصلة العائمة (FLOP). والنتائج مشجّعة: فهذه ليست حيلة مخبرية تعمل على حجم نموذج أو بنية بعينها فحسب، بل نهج عام يتوسّع بصورة جيدة. وهذا يعني إمكانية تطبيقه على نطاق واسع.

لماذا يهم هذا الصناعة

التدريب المسبق لنماذج LLM هو أكثر مراحل تطوير النماذج استهلاكاً للموارد وأعلاها كلفة. فتدريب نموذج كبير واحد يتطلب آلاف الساعات من عمل مجمّعات GPU، وتُقدَّر كلفة الكهرباء والمعدات بملايين الدولارات. والتسريع بمقدار 2.5 مرة ليس تحسيناً بنسبة 5-10% فحسب، بل خفض جدّي وقابل للتحقيق في النفقات الإجمالية، ينعكس مباشرة على اقتصاديات التطوير.

وبالنسبة إلى الشركات الناشئة والفرق الصغيرة، يعني ذلك إمكانية تدريب نماذج عالية الجودة وقادرة على المنافسة بميزانية أولية أقل. أما بالنسبة إلى المختبرات الكبرى مثل Meta* وMistral وOpenAI، فيعني القدرة على تجربة عدد أكبر بكثير من خيارات البنية المعمارية والمعاملات الفائقة (hyperparameters) واستراتيجيات التدريب على البنية التحتية نفسها. وهذا يوسّع حدود التجريب، ويسرّع وتيرة الابتكار، ويتيح اختبار الأفكار الجديدة بوتيرة أسرع.

ماذا يعني هذا

تبرهن طريقة Token Superposition Training أنه حتى في مجال التدريب المسبق الذي دُرس جيداً، توجد سبل بسيطة لكنها قوية لتوفير الموارد الحسابية. وقد يلهم ذلك باحثين آخرين للبحث عن تحسينات مماثلة في مراحل مختلفة من تدريب النموذج، بدءاً من تهيئة الأوزان وصولاً إلى جداول معدل التعلّم التكيفية (adaptive learning rate schedules).

وبالنسبة إلى الصناعة، فهذه إشارة إيجابية إلى أن الحدّ الفاصل بين البحث الأساسي والتطبيق الصناعي يزداد ضبابية، وأن الأفكار الجيدة تجد طريقها سريعاً إلى بيئة الإنتاج.

*Meta مصنّفة في روسيا منظمة متطرفة ومحظورة في الاتحاد الروسي.