Huginn يتفوق على Ouro في جميع معايير القياس العشرة: تصميم النماذج اللغوية التكرارية

بنية النماذج التكرارية: ثلاثة محاور تصميمية

تعيد النماذج اللغوية التكرارية استخدام كتل المحوّل فعليًا لتحقيق عمق منطقي، وهو ما يوفر موارد حسابية. لكن البنى الحالية تخلط بين ثلاثة محاور تصميمية جوهرية: موضع الكتل التكرارية، وطريقة حقن إشارات المدخلات، وتنظيم الحالة التكرارية. أجرى باحثون من Institute of Foundation Models مقارنة مضبوطة بين هذه المحاور على نماذج دُرّبت من الصفر بنفس حجم المعاملات والعمق المنطقي وميزانية الرموز (tokens).

مؤلفو الدراسة هم Benhao Huang وChufan Shi وJunlin Chen وShicheng Wen وZhengzhong Liu وEric Xing وXuezhe Ma. أظهرت الدراسة أن بنية «الساندويتش» التي تضم مقدمة ثم كتل تكرارية ثم خاتمة تتفوق باستمرار على التكوينات الأخرى لموضع التكرار. ويحسّن هذا النهج الأداء بشكل ملحوظ في مهام استخراج السياق والمهام التي تتطلب استدلالًا منطقيًا معقدًا.

حقن المدخلات والحالة التكرارية: ما ينجح وما لا ينجح

يحسّن حقن المدخلات (المتكرر في كل خطوة من الدورة) بشكل أساسي استخراج المعرفة والاستخدام الفعّال للسياق. في المقابل، لا يُحدث التهيئة العشوائية للحالة الخفية ولا نظام الحالات التكرارية المنفصلة لمعاملات H وL نتائج تُذكر، بل تأتي نتائجهما مختلطة أو سلبية بوضوح، ولا يُبرران التعقيد الإضافي الذي يفرضانه.

Huginn في مواجهة Ouro: مقارنة شاملة على جميع معايير القياس

عند الحجم الأساسي (730 مليون معامل، و336 مليار رمز تدريب)، يتفوق النموذج الكامل Huginn على Ouro في جميع معايير القياس العشرة. وتستمر هذه المزايا عند التوسّع إلى نماذج «مزيج الخبراء» (MoE). وعند حجم 8 مليارات0.8 مليار معامل (32 مليارًا3 مليارات عند النشر)، مع التدريب على 500 مليار رمز، تُظهر نماذج Huginn تفوقًا على Ouro في معظم معايير القياس التي تغطي المعرفة والاستدلال والبرمجة.

النتائج التفصيلية على معايير القياس المحددة:

• DROP (استخراج المعلومات من النص): يتفوق Huginn • GSM8K (الاستدلال الرياضي عبر مسائل لفظية): يتفوق Huginn • MATH500 (مسائل رياضية معقدة): يتساوى Huginn مع نموذج MoE الأساسي

توجيه الخبراء في Huginn أكثر توازنًا، وهو ما يقلّل من مشكلة التخصص وانهيار الخبراء — أي عندما يُوجَّه معظم الأمثلة إلى خبير واحد فقط.

كفاءة المعاملات والتطبيق العملي

عند تساوي عمليات FLOPs في التدريب والاستدلال، تستخدم بنية Huginn عدد معاملات مُقيمة أقل بنسبة 75% مقارنة بنموذج MoE الأساسي ذي الـ112 طبقة. وعلى الرغم من هذا الحجم الأصغر من المعاملات الفعلية، يتفوق النموذج على النموذج الأساسي في DROP وGSM8K، ويتساوى معه في MATH500، ويبقى قادرًا على المنافسة في معايير القياس السبعة المتبقية. وهذا يجعل Huginn بنية واعدة للنماذج اللغوية الكبيرة ذات الكفاءة في استخدام المعاملات، لا سيّما في ظل قيود الذاكرة أو متطلبات الاستدلال السريع. والدراسة مفتوحة بالكامل في مستودع GitHub الخاص بـ xllm-loop، مما يتيح للمجتمع إعادة إنتاج النتائج والبناء على هذه المبادئ التصميمية.