مضاعفة الطبقات أثناء التدريب ترفع نتيجة GSM8K من 12% إلى 19% على نموذج بحجم 3B

قارن الباحثون Ferdinand Kapl وKaitlin Maile وStefan Bauer وJohannes von Oswald بين ثلاث طرق لبناء نموذج لغوي يصل حجمه إلى 3 مليارات معامل. الأولى شبكة كثيفة اعتيادية. والثانية شبكة تزداد عمقًا تدريجيًا أثناء التدريب عبر نسخ الطبقات الوسطى (طريقة LIDAS). والثالثة شبكة «حلقية» تُمرَّر فيها البيانات عبر الطبقات نفسها عدة مرات في تمريرة واحدة. ركّزت الدراسة على التعلم السياقي (in-context learning, ICL)، أي قدرة النموذج على فهم المهمة من بضعة أمثلة في الموجّه (prompt) دون إعادة تدريب. وتبيّن أن النماذج التي يُزاد عمقها تدريجيًا والنماذج الحلقية تتعلم ICL بشكل أفضل بوضوح من النموذج الكثيف. وعلى مقياس 3B حقق LIDAS نحو 19% من التطابق الدقيق في GSM8K مع 8 أمثلة في الموجّه، مقابل نحو 12% للنموذج الكثيف.

طريقتان لإعادة استخدام العمق

في النموذج الاعتيادي يُحدَّد عدد الطبقات مسبقًا، وتُدرَّب كل طبقة من الصفر. أما في LIDAS فالأمر مختلف: يبدأ التدريب بشبكة ضحلة، ثم تُضاعَف الطبقات الوسطى فتنمو الشبكة أثناء التدريب نفسه. تكون النسخ متطابقة تقريبًا في البداية، ثم تتباعد. وتجري المرحلة المبكرة من التدريب على نموذج صغير، ولذلك تكون أقل كلفة. وبحسب المؤلفين، يستهلك LIDAS على مقياس 3B حسابات أقل بنسبة 26% في التدريب (FLOPs، أي عمليات الفاصلة العائمة)، ومع ذلك يتفوق على النموذج الكثيف.

أما التكرار الحلقي فبنيته أبسط. يؤخذ عدد صغير من الطبقات وتمر البيانات عبره عدة مرات في تمريرة أمامية واحدة. وبذلك يقل عدد المعاملات الفريدة ويزداد العمق الفعلي.

جرت التجارب على نماذج يتراوح حجمها بين 360M و3B معامل. وبُنيت الشيفرة على مكتبة nanotron من Hugging Face. ولا ينشر المؤلفون شيفرتهم الخاصة ولا الأوزان.

أين تتفوق النماذج

GSM8K مجموعة من المسائل النصية المدرسية في الرياضيات. توضع ثمانية أمثلة محلولة في الموجّه، ثم يُنظر هل تطابق إجابة النموذج الإجابة المرجعية. نتائج نماذج 3B:

• LIDAS: نحو 19% من التطابقات الدقيقة؛
• النموذج الكثيف: نحو 12%.

الاختبار الثاني هو RegBench: لغات شكلية جديدة لم يرها النموذج من قبل. عليه أن يستنتج قواعدها من بضعة أمثلة ويتنبأ بالرمز التالي. وتُقاس الجودة بمسافة التباين الكلي، أي الفرق بين الاحتمالات المتوقعة والاحتمالات الحقيقية. وكلما كانت القيمة أصغر كان الأداء أفضل:

• زيادة العمق تدريجيًا: ~0.119؛
• التكرار الحلقي: ~0.125؛
• النموذج الكثيف: ~0.137.

وهذا هو التعلم السياقي تحديدًا: لا يوجد في الاختبار ما يمكن استرجاعه من الأوزان، ولا يبقى أمام النموذج سوى قراءة السياق.

رؤوس الاستقراء المتضاعفة وثمن المكسب

يفسّر المؤلفون النتيجة عبر رؤوس الاستقراء (induction heads). وهي رؤوس انتباه تعثر في السياق على ظهور سابق للرمز الحالي، وتقترح الرمز الذي جاء بعده. ويُعدّ هذا النوع من الرؤوس من الآليات الأساسية للتعلم السياقي.

في نموذج 3B المدرَّب بطريقة LIDAS، تعود 10 من أقوى 12 رأس استقراء إلى سلفين اثنين من شبكة مبكرة ذات أربع طبقات. أي أن النمط الذي ظهر في النموذج الصغير يُنسخ عبر العمق كله مع نمو الشبكة. ويبدو أنه لا يُزاحَم لاحقًا بالمعرفة التي تخزّنها الشبكة في أوزانها.

وثمة اختبار آخر هو التعطيل. عطّل المؤلفون أقوى 20% من هذه الرؤوس، ورصدوا انخفاض متوسط F1 على 19 مهمة بعدة أمثلة:

• النموذج الكثيف: انخفاض بنحو 0.08؛
• LIDAS: بنحو 0.18؛
• النموذج الحلقي: بنحو 0.28.

يعني ذلك أن النماذج المُزادة عمقًا والنماذج الحلقية تعتمد على هذه الأنماط بدرجة أكبر، وأن قدرتها على التعلم من الأمثلة متركزة فيها بالكامل.

ما الذي ينبغي أن يأخذه المهندسون في الحسبان

بالنسبة إلى من يجرون التدريب المسبق للنماذج، الخلاصة عملية. إذا كان الهدف توفير الحسابات مع ICL جيد، فإن زيادة العمق تدريجيًا تبدو خيارًا معقولًا. فعلى مقياس 3B أعطت نتائج أفضل ووفّرت 26% من FLOPs.

أما التكرار الحلقي فثمنه أعلى. فعدد المعاملات الفريدة في هذا النموذج أقل، ويصعب عليه استخراج المعرفة المخزّنة في الأوزان. والمكسب في ICL له كلفة: النموذج يقرأ السياق بشكل أفضل، لكنه يتذكر الحقائق بشكل أسوأ.

وهناك تحفظ يتعلق بالموثوقية. فقد دُرّبت كل تهيئة، من 360M إلى 3B، ببذرة عشوائية (seed) واحدة فقط، أي بحالة ابتدائية واحدة لمولّد الأعداد العشوائية. ولم يُقَس التباين بين مرات التشغيل. تبدو النقاط المئوية السبع في GSM8K مقنعة، لكن من دون إعادة التجارب لا يمكن الجزم بمدى ثباتها. كما أن حجم 3B صغير بمقاييس النماذج الحديثة، ويجب التحقق من انتقال النتائج إلى عشرات المليارات من المعاملات بشكل منفصل.

ومع ذلك، فالنتيجة غير متوقعة. فالنموذج الكثيف المدرَّب بالطريقة المعتادة جاء أسوأ تحديدًا حيث كان يُعدّ قويًا: في القدرة على التعلم من الأمثلة الموجودة في السياق. وتفسير المؤلفين هو النسخ المبكر لأنماط الانتباه، ويمكن اختباره على أحجام أخرى.