Cola2 تتفوق على Llama-3-8B في HellaSwag بعدد رموز أقل بـ43 مرة

عرض فريق من الباحثين إطار Cola2 للنمذجة اللغوية الهرمية، وفيه يعيش المعنى في فضاء كامن متصل، بينما يجمع مفكك ترميز منفصل النص. على 346,03 مليار رمز مصدر، حقق نموذج لم يتقارب تدريبه بعد (checkpoint) متوسطًا قدره 60,10 في ثماني مهام، وتفوق على Llama-3-8B في HellaSwag وStoryCloze. أما ميزانية التدريب المسبق المعلنة لـ Llama-3 فهي أكبر بأكثر من 43 مرة.

ماذا يضغط الفضاء الكامن بالضبط

فكرة التوليد الهرمي متداولة منذ وقت طويل: يخطط النموذج أولًا للمعنى بخطوط عريضة، ثم ينفذه في رموز. ونقطة الضعف دائمًا واحدة. فإذا ضغطت المتغيرات الكامنة ما لا ينبغي ضغطه، أو ضغطته بطريقة خاطئة، فإن مفكك الترميز إما يتجاهلها وإما يتحول إلى آلة نسخ بسيطة.

يعالج Cola2 هذه المشكلة بعدة خطوات. يُقسَّم النص ديناميكيًا إلى مقاطع دلالية (spans) بدلًا من أجزاء ثابتة الطول. وتُضبط درجة الضغط عبر تغذية راجعة سلبية ودون دوال خسارة (losses) مساعدة: يعدّل النظام العتبة بنفسه دون إضافة حدود عقابية زائدة إلى التدريب. ولكي تكون المتغيرات الكامنة مدمجة وقادرة على التنبؤ في آن واحد، يمزج المؤلفون إشارتين: إعادة بناء النص الأصلي والتوليد المعتاد.

مفكك ترميز انتشاري والتوازن بين النسخ والاستقلالية

مفكك الترميز هنا كتلي-سببي (block-causal) ومقنّع وقائم على الانتشار (diffusion). يُدرَّب على ثلاثة أنواع من الشروط: متغيرات كامنة نظيفة، ومتغيرات مشوشة، ومتغيرات محذوفة بالكامل. وهذا يتيح تطبيق classifier-free guidance. وبتغيير قوة guidance يمكن تحريك سلوك النموذج بين الاستعادة الدقيقة للمعنى من المتغير الكامن والتوليد المستقل.

وهناك تفصيل هندسي منفصل يتعلق بتدفق التدرجات. تمر تدرجات التنبؤ بالرموز عبر المتغيرات الكامنة إلى المشفّر، فتتكيف التمثيلات مع احتياجات مفكك الترميز. أما تدريب المُسبق (prior) على Flow Matching فهو مفصول عن تدريب التمثيلات عبر stop-gradient. يتعلم المُسبق التنبؤ بالمتغيرات الكامنة التالية، لكنه لا يجرّ المشفّر معه ولا يفسد الفضاء الذي يبنيه المشفّر.

وثمة دقة أخرى في مرحلة الاستدلال. يُعاد ترميز النص المولَّد مع تثبيت تقسيم المقاطع، كي يتطابق تاريخ المتغيرات الكامنة مع سياق النص الفعلي، لا مع ما «فكّر» فيه النموذج سابقًا. ودون هذه الخطوة كانت الأخطاء بين الجزء المتصل والجزء المنفصل ستتراكم من كتلة إلى أخرى.

الأرقام وما يشوبها

• ميزانية التدريب في التجارب الرئيسية: نحو 210 مليار رمز، وخمس مهام downstream.
• التوسع: يصفه المؤلفون بأنه تنافسي وغير مشبع.
• التشغيل الكبير: 346,03 مليار رمز مصدر، والنموذج لم يتقارب تدريبه بعد.
• المتوسط في ثماني مهام: 60,10.
• يتفوق على Llama-3-8B في HellaSwag وStoryCloze بميزانية تدريب مسبق أقل بأكثر من 43 مرة.

ينبغي قراءة المقارنة مع Llama-3-8B بحذر. يقيس HellaSwag وStoryCloze معقولية استمرار النص والحس السليم، أي ما يلتقطه جيدًا نموذج يملك طبقة صريحة للبنية الدلالية. وقد تختلف الصورة في اختبارات المعرفة والاستدلال، وبحسب نص الورقة فإن التفوق معلن في مهمتين فقط من ثماني. في المقابل، لا يصل منحنى التوسع إلى مرحلة الثبات، ما يعني أن الإمكانات لم تُستنفد عند الميزانيات الأكبر.

أين قد يفيد هذا

بالنسبة إلى من يبنون النماذج، الخلاصة العملية الرئيسية هي أن كفاءة استخدام البيانات لا تُطلب فقط في معمارية المحوّل (transformer) أو في تنقية المدونة النصية، بل أيضًا في طريقة بناء الطبقة الدلالية الوسيطة. فإذا ضغطت المتغيرات الكامنة النص في مقاطع (spans) وولّد مفكك الترميز النص على شكل كتل، فقد تنخفض كلفة الاستدلال أيضًا: خطوات أقل لكل وحدة معنى.

وبالنسبة إلى باحثي نماذج اللغة الانتشارية، يقدم Cola2 وصفة جاهزة لربط الجزء المتصل بالجزء المنفصل: تغذية راجعة سلبية للضغط، وثلاثة أنماط شروط لمفكك الترميز، وstop-gradient للمُسبق، وإعادة حساب المتغيرات الكامنة أثناء التوليد. ويمكن اختبار كل عنصر من هذه العناصر ونقله على حدة.

أما بالنسبة إلى الصناعة، فهذه إشارة إلى أن البدائل للمخطط الانحداري الذاتي الخالص تكتسب وزنًا. وحتى الآن يدور الحديث عن نموذج من فئة 8B تقريبًا وتدريب لم يكتمل، لكن إذا تأكد التوسع على عشرات ومئات المليارات من المعاملات، فقد تصبح النماذج الكامنة الهرمية مرشحًا جديًا للخطوة التالية بعد next-token prediction الكلاسيكي.