النماذج اللغوية الهجينة: الطبقات التكرارية تُخمد الـ attention، والتدريب على مراحل يعالج المشكلة

تتدرّب النماذج اللغوية الهجينة، التي تعمل فيها التكرارية الخطية جنبًا إلى جنب مع softmax attention، بطريقة مختلفة عمّا توقعه مصمّموها. وقد بيّن مؤلفو ورقة Competing Learning in Hybrid Architectures أن الطبقات من الأنواع المختلفة تتنافس على الوظيفة نفسها. والطبقة التي تتعلمها أولًا تُخمد إشارة التعلّم عن بقية الطبقات. وتفوز التكرارية في الغالب، بينما يبقى الـ attention بلا مهارة retrieval. أما إيقاف تحديث أوزان الطبقات التكرارية في منتصف التدريب فيعيد الـ attention إلى العمل. وعلى نماذج تصل إلى 1B معامل، حسّن المخطط المرحلي قيمة language modeling loss، وأداء common-sense reasoning، والمهام القائمة على retrieval عند أطوال سياق مختلفة.

أين يكمن التعارض

تحظى النماذج الهجينة بشعبية بسبب ما تقدمه من حل وسط. فالطبقات التكرارية الحديثة توفّر مزجًا معبّرًا للرموز (tokens) وإنتاجية عالية، لأنها تضغط السياق في حالة ذات حجم ثابت. وثمن ذلك معروف: فهي تتخلف عن softmax attention، الذي يصل إلى الرموز مباشرة، عند استخراج معلومات محددة من السياق. وفكرة النموذج الهجين أن يُترك الـ attention حيث يلزم بحث دقيق، وتُسند بقية العمل إلى تكرارية منخفضة التكلفة.

وبحسب المؤلفين، ينهار هذا المنطق أثناء التدريب. فقد أظهر layer attribution analysis أنه عند توزيعات البيانات المعتادة تتعلم التكرارية الحديثة وظائف الـ retrieval أسرع من الـ attention. وحين تتعلم إحدى الطبقات وظيفةً ما، تُكبَح إشارة التعلّم الموجّهة إلى الطبقات الأخرى بشأنها. والنتيجة أن الـ attention في معظم الحالات لا يتعلم البحث أصلًا. وتبقى البنية هجينة على الورق، لكن الطبقة التي صُممت من أجلها لا تؤدي مهمتها.

التدريب على مراحل

جاء الاختبار بسيطًا. إذا أُوقف تحديث الأوزان في الطبقات التكرارية في منتصف التدريب، يتمكن الـ attention من تعلّم الـ retrieval. وعلى هذه الملاحظة بُني staged training procedure للتدريب المسبق للنماذج الهجينة على اللغة الطبيعية: تُترك التكرارية تعمل أولًا، ثم يُفسح المجال للـ attention.

لا يكشف الملخص تفاصيل: في أي لحظة تُجمَّد الطبقات، وكيف تُنظَّم المراحل، وماذا يحدث للتكرارية بعد التجميد. وهذه المعاملات هي ما يحدد إمكانية إعادة إنتاج الطريقة، وسيتعيّن البحث عنها في النص الكامل للورقة.

• نطاق الاختبار: نماذج تصل إلى 1B معامل.
• الظاهرة: Competing Learning، أي تنافس الخلّاطات (mixers) على وظيفة واحدة.
• أداة التشخيص: layer attribution analysis.
• الأسلوب: إيقاف تحديثات الطبقات التكرارية في منتصف التدريب.
• المقاييس: language modeling loss، وcommon-sense reasoning، والمهام القائمة على retrieval عند أطوال سياق مختلفة.
• لا يتضمن الملخص أي أرقام لمقدار التحسن، إذ ذُكر فقط «تحسن كبير».

ما الذي ينبغي فحصه عمليًا

ينبغي للفرق التي تُجري تدريبًا مسبقًا لنماذجها الهجينة أن تتحقق مما إذا كانت طبقة الـ attention لديها تعمل فعلًا في الـ retrieval. ولهذا يصلح attribution-analysis، وكذلك ablation مع تجميد الطبقات التكرارية في مراحل مختلفة. ويجب تشغيل اختبارات الاستخراج من السياق على عدة أطوال، لا على طول واحد. وقد تُخفي المقارنة بين «الهجين والتكرارية الخالصة» المشكلة: فالـ attention موجود شكليًا، لكنه لا يسهم في البحث.

وللنتيجة حدود. فحجم 1B معامل بعيد عن أحجام النماذج التجارية الحديثة. ومن غير المعروف هل سيستمر التأثير على عشرات المليارات من المعاملات وعلى خلطات بيانات أخرى. كما أن التحسن المعلن لا تدعمه أرقام في الوصف المتاح حتى الآن. لكن التشخيص نفسه مفيد: فإذا كانت الطبقات تُزاحم بعضها بعضًا، فلن تحل المسألة بمجرد ضبط نسب الطبقات التكرارية وطبقات الـ attention، بل لا بد من التحكم في ترتيب تدريبها.