Huginn يتفوق على Ouro في جميع المقاييس العشرة ضمن مقارنة نماذج LLM الحلقية

تُوفّر نماذج اللغة الحلقية المعاملات، لكن لم يكن واضحًا حتى الآن أي القرارات المعمارية تحديدًا تقف وراء المكسب. تفصل ورقة بحثية جديدة، هي الجزء الأول من سلسلة «Towards Looped Models Done Right»، بين هذه القرارات وتختبر كلًّا منها على حدة. والنتيجة: عند 730M معامل و336B رمز، تفوقت البنية الكاملة بأسلوب Huginn على Ouro في جميع المقاييس العشرة. وفي نسخة MoE بصيغة 8BA0.8B (أي 32BA3B بعد فك الحلقات) المدرَّبة على 500B رمز، يتقدم Huginn مجددًا في معظم الاختبارات تقريبًا. وعند تساوي FLOPs في التدريب والاستدلال، يستخدم معاملات مقيمة أقل بنسبة 75% من نموذج MoE تغذوي (feedforward) من 112 طبقة.

ثلاثة محاور كانت متداخلة سابقًا

يعيد النموذج الحلقي (looped) استخدام الكتل الفيزيائية نفسها من Transformer عبر خطوات مختلفة من العمق المنطقي. تُمرَّر مجموعة واحدة من الأوزان عدة مرات، فتستطيع الشبكة «التفكير» بعمق أكبر دون زيادة عدد المعاملات. وفي البنى القائمة تتشابك ثلاثة قرارات. الأول: موضع التكرار داخل الطبقات. الثاني: كيفية دمج المدخل الأصلي في كل تكرار. الثالث: كيفية تنظيم الحالة المتكررة. ولهذا لا تتيح مقارنة نموذجين جاهزين معرفة العامل الذي أحدث الفرق فعلًا.

فصل المؤلفون هذه المحاور عن بعضها. دُرّبت النماذج من الصفر بحجم معاملات واحد، وعمق منطقي واحد، وميزانيات رموز متساوية. ثم اختبروا ما إذا كانت الاستنتاجات تنتقل إلى نماذج MoE، حيث تتطابق المعاملات المقيمة والنشطة معًا.

ماذا أظهرت التجارب

كان أفضل أداء لبنية «Sandwich»: كتلة إدخال (prelude)، وكتلة متكررة، وكتلة إخراج (coda). وهي تحسّن باستمرار استرجاع المعلومات من السياق والمهام التي تتطلب استدلالًا. أما Input injection، أي إعادة تغذية المدخل داخل الحلقة، فيساعد في الأساس على استرجاع المعرفة وعلى استخدام السياق بصورة أفضل. وأعطت التهيئة العشوائية للحالة، والحالتان المتكررتان المنفصلتان H وL، نتائج متباينة أو سلبية. ويجمع تصميم Huginn بين هذه النتائج.

أبرز الأرقام من الورقة:

• 730M معامل، 336B رمز: بنية Huginn الكاملة أفضل من Ouro في جميع المقاييس العشرة (10).
• MoE بصيغة 8BA0.8B (32BA3B بعد فك الحلقات)، 500B رمز: يتقدم Huginn على Ouro في معظم اختبارات المعرفة والاستدلال والبرمجة تقريبًا.
• توزيع الخبراء عبر التوجيه لدى Huginn أكثر توازنًا منه لدى Ouro.
• عند تساوي FLOPs في التدريب والاستدلال، يستخدم Huginn معاملات مقيمة أقل بنسبة 75% من نموذج MoE تغذوي (feedforward) من 112 طبقة.
• مقابل هذا النموذج الأساسي، يتفوق النموذج الحلقي في DROP وGSM8K، ويتعادل معه في MATH500، ويبقى منافسًا في بقية الاختبارات.

وتبرز أهمية الانتقال إلى MoE بصورة مستقلة. فعادةً ما تُختبر المعماريات الحلقية على النماذج الكثيفة، والمكسب عند هذا الحجم لا يضمن أن يصمد التصميم عند الانتقال إلى الخبراء. وهنا يصمد، وهذا يعزز كثيرًا حجة Huginn.

ما الذي ينبغي تغييره في الممارسة

تكمن الفائدة الرئيسية في الذاكرة. فالمعاملات المقيمة تحدد حجم الأوزان التي يجب إبقاؤها على المسرّع، بينما تستهلك التمريرات المتكررة قدرة حسابية لا ذاكرة. وإذا كان الاستدلال مقيّدًا بحجم الذاكرة لا بـ FLOPs، فإن looped MoE بربع المعاملات المقيمة يبدو بديلًا جديًا للبنية التغذوية (feedforward) العميقة. وينطبق ذلك خصوصًا حيث تهم المهام الحسابية ومهام القراءة مثل GSM8K وDROP.

وهناك تحفظات أيضًا. فملخص الورقة لا يتضمن بيانات عن زمن الاستجابة ولا عن الإنتاجية، وفي جزء من الاختبارات يكون النموذج الحلقي «منافسًا» فقط، لا أفضل من النموذج الأساسي. كما أن النطاق محدود بـ 8B معامل مقيم و500B رمز، لذا يجب اختبار الاستنتاجات على نحو منفصل للنماذج الأكبر بمرتبة حجم. وتقدم الورقة للفرق التي تبني نماذج حلقية قائمة تحقق قصيرة: اعتماد بنية Sandwich، وعدم التخلي عن input injection، وعدم تعقيد الحالة بفصل H/L ما لم تثبت فائدة ذلك، ومراقبة توازن توزيع الخبراء عبر التوجيه. وهذا مجرد الجزء الأول من السلسلة، وستُظهر الأجزاء التالية مدى متانة هذه المجموعة من القرارات.