محوّل حلقي بحجم 1B معامل يكلّف أقل بـ1.4 مرة من حيث FLOP

أصبحت المحوّلات الحلقية موضوعًا رائجًا هذا العام: تصدر الأوراق البحثية عنها تقريبًا كل يوم. الفكرة بسيطة: بدل إضافة طبقات جديدة، يمرّر النموذج المدخلات عبر الطبقات نفسها عدة مرات. عدد المعاملات يبقى كما هو، لكن النموذج «يفكّر» بعمق أكبر. وتجيب ورقة جديدة من 149 صفحة، أعدّها باحثون بينهم مايك لويس وأرتيدورو باني​يوني، أخيرًا عن سؤال عملي: كيف يجب أن يكون التكرار الحلقي ليكون مجديًا.

ما مشكلة التكرار الحلقي

تخيّلوا خط إنتاج من 24 آلة. يمكن شراء 24 آلة أخرى للحصول على معالجة أكثر تعقيدًا، لكن ذلك مكلف من حيث الذاكرة والمعاملات. أو يمكن تمرير القطعة على الآلات نفسها دورة ثانية. الذاكرة المطلوبة هي نفسها، أما الحسابات فأكثر. لهذا النهج نقطتا ضعف. الأولى: غير واضح ما الذي ينبغي تكراره، كل الطبقات أم جزء منها. الثانية: عند توليد النص ينتظر كل رمز جديد انتهاء جميع حلقات الرمز السابق، ويصعب موازاة هذا الفك للترميز.

ماذا اكتشف المؤلفون

درّب الفريق مسبقًا مفكّكات كثيفة حتى 1B معامل وحتى 32 حلقة، وقارن بين نمطين. يكرّر Full-Stack Looping جميع الطبقات. أما Middle-Stack Looping فيكرّر الطبقات الوسطى فقط، وتبقى الأولى والأخيرة كما هي.

يعتمد الاستنتاج على ما ينقصكم. إذا كان عدد المعاملات محدودًا بشدة، فالأفضل تكرار جميع الطبقات. وإذا كانت الحوسبة (FLOP) هي المحدودة، فالطبقات الوسطى تتفوق. وبالنسبة للمهندس، يتحول ذلك فورًا إلى قاعدة لاختيار البنية.

الجزء الثاني من الورقة يتناول فك الترميز المتوازي. في مخطط Parallel Loop Transformers تُزاح حالات الحلقات إلى الرموز المجاورة، فتُحسب الحلقات المختلفة في وقت واحد. لاحظ المؤلفون أن الجودة تتدهور عند وجود عدة حلقات، لأن تضمين الرمز الحالي وحالة الحلقة السابقة يُخلطان في مجموع واحد. أما حلّهم، Normalized Shifted PLT، فيُطبّع هذين المدخلين كلًا على حدة عبر RMSNorm قبل خلطهما. كما أضافوا محوّلات منخفضة الرتبة مشتركة للحلقات (Loop Matrix)، وهي في جوهرها تصحيح شبيه بـLoRA، كي يختلف كل تمرير قليلًا عن سابقه.

وهذه هي الأرقام. على مجموعة بيانات DCLM وعند 200M معامل، تخفض النسخة رباعية الحلقات البتات لكل بايت إلى ~1.060، مقابل ~1.087 لـPLT الأصلي و~1.088 للنموذج بلا حلقات. وعند 1B معامل يحقق النموذج ثنائي الحلقة ~0.86 مقابل ~0.90 عند 80 رمزًا لكل معامل. وبلغت الدقة على ثماني مهام ~47.5% مقابل ~46.1% عند 160 رمزًا لكل معامل. وعند التدريب الطويل تتطلب النماذج ثنائية الحلقة ما يصل إلى 1.4 مرة أقل من FLOP مقارنة بالنماذج بلا حلقات.

ماذا نفعل بهذا

إذا كنتم لا تدرّبون النماذج من الصفر، فلا شيء تفعلونه الآن. أما إذا كنتم تخططون لنموذج مدمج خاص بكم لجهاز أو خادم ذي حد صارم للذاكرة، فإن التكرار الحلقي يصبح رافعة حقيقية. الذاكرة المطلوبة هي نفسها بينما ترتفع الجودة. مخطط الاختيار بسيط: إن كان العائق هو المعاملات فاختاروا الحلقة الكاملة، وإن كان FLOP فكرّروا الطبقات الوسطى. وإذا كانت سرعة التوليد مهمة، فانظروا إلى الإزاحة المُطبَّعة: فهي ما يجعل فك الترميز المتوازي عمليًا.

القيود

هناك ثلاثة تحفظات مهمة. أولًا، توقفت التجارب عند 1B معامل، ولا يُعرف هل ستصمد هذه العلاقات على نماذج بعشرات المليارات. ثانيًا، لم يقِس المؤلفون زمن التوليد الفعلي. فتوفير FLOP لا يعني بعد أن الجواب سيأتي أسرع: ففي الممارسة تحسم الذاكرة والنوى الكثير. ثالثًا، مكسب الدقة صغير، نحو 1.4 نقطة مئوية، لذا فهو أقرب إلى تحسين هندسي منه إلى اختراق.

الخلاصة: العمل مفيد كخريطة للمنطقة. فهو يبيّن أن التكرار الحلقي ليس تقنية واحدة بل مجموعة قرارات بمفاضلات مختلفة، ويقترح أيها يُختار وفق ميزانيتكم. وحتى الآن هو مادة لمن يدرّبون النماذج بأنفسهم، لكن الاتجاه واضح نحو استخلاص أكبر قدر ممكن من كل معامل.