Lafa بـ 8 مليارات معامل يسرّع توليد النص 2.54 مرة دون فقدان الجودة

تفتح نماذج اللغة المتدفقة المستمرة طريقًا جديدًا جذريًا نحو التوليد المتوازي للنص. وخلافًا للنماذج التراجعية الذاتية (autoregressive) التقليدية، التي تولّد الرموز (tokens) بشكل متتابع، توفّر النماذج المتدفقة أدوات تحكّم وتسريع لا يمكن لأساليب الانتشار المتقطّع (discrete diffusion) الوصول إليها. لكن حتى الآن، لم تُدرَس بشكل كافٍ الأساليب الفعالة لبناء هذا النوع من النماذج على نطاق مليارات المعاملات.

يقدّم الباحثون Lafa (Large flow language model)، وهو أول نموذج تدفقي سريع وعالي الأداء، تم توسيعه إلى 8 مليارات معامل بطريقة فعالة من حيث البيانات. ويُظهر هذا العمل أن التوليد المتدفق يمكن أن يكون بديلًا عمليًا للنمذجة التراجعية الذاتية على نطاق صناعي.

البنية والتصميم

يعتمد Lafa على بنية تدفق كتلية مبتكرة. على البادئة، يُطبَّق اهتمام سببي (causal attention) كما في المحوّلات (transformers) التقليدية، بينما يتم تنفيذ تدفق لابؤري غير متزامن داخل كل كتلة. ويحقّق هذا النهج الهجين هدفين حاسمين في الوقت نفسه: تدريبًا فعالًا من خلال تكييف نماذج تراجعية ذاتية مدرَّبة مسبقًا، واستدلالًا سريعًا بفضل التخزين المؤقت للبادئة وفك التشفير المتوازي على مستوى الكتل.

ويعني تكييف النماذج التراجعية الذاتية الموجودة أن الباحثين لم يحتاجوا إلى تدريب Lafa من الصفر — فقد تمكّنوا من إعادة استخدام أوزان مدرَّبة مسبقًا، ما خفّض التكاليف الحسابية بشكل كبير.

التدريب والتوسّع

درّب المؤلفون Lafa بثلاثة مقاييس مختلفة: • 0.5 مليار معامل — نسخة خفيفة للأجهزة ذات الموارد المحدودة • 7 مليارات معامل — نسخة متوسطة توازن بين الأداء والسرعة • 8 مليارات معامل — نسخة كاملة الميزات لأعلى مستوى من الجودة

وقد دُرِّبت النسخ الثلاث على أقل من 30 مليار رمز. وللمقارنة، تتطلّب نماذج الانتشار التقليدية كمية بيانات أكبر بكثير. وتحلّ هذه الكفاءة واحدة من أهم مشكلات النماذج المتدفقة، وهي التكلفة المرتفعة للتدريب.

تقييم الجودة والمهام العملية

خضع Lafa لتقييم منهجي على ثلاث فئات من المهام تحدّد الفائدة العملية لنموذج اللغة: • اتباع التعليمات — مدى دقة تنفيذ النموذج لتعليمات المستخدم • الاستدلال المنطقي — القدرة على الاستنتاج المنطقي وحل المسائل الرياضية • البرمجة — توليد الشيفرة المصدرية وتحليلها وتصحيحها

وفي جميع هذه المهام، تضاهي جودة التوليد المتدفق لـ Lafa جودة النماذج التراجعية الذاتية التقليدية أو تتجاوزها. ويمكن أيضًا تقطير النموذج إلى خرائط تدفق (flow maps) — تمثيلات مكثّفة للتوليد على مرحلة واحدة أو عدة مراحل — وهو ما يفتح الطريق لنسخ أسرع.

فك التشفير التخميني الذاتي: مفتاح التسريع

يتمثّل الاكتشاف المحوري للباحثين في أن التدريب على التدفقات لا يُفسد القدرات التراجعية الذاتية للنموذج الأصلي، بل يُحسّنها أيضًا عبر تأثير التنبؤ متعدد الرموز. وجسّد الباحثون هذه الفكرة في مخطط فك تشفير تخميني ذاتي: تُفحص المسودّات المتدفقة بطريقة تراجعية ذاتية داخل نموذج واحد موحّد، دون الحاجة إلى التبديل بين نماذج مختلفة.

والنتيجة مثيرة للإعجاب: يحقّق Lafa تسريعًا في الإنتاجية بمقدار 2.54 مرة مقارنة بنموذج تراجعي ذاتي قياسي، مع جودة مماثلة. وهذا يتجاوز كلًا من الأساليب المتخصّصة في التنبؤ متعدد الرموز وأساليب الانتشار المتقطّع.

الأهمية بالنسبة لنمذجة اللغة

تُظهر النتائج التي تم الحصول عليها أن التدفقات المستمرة جاهزة للتطبيق الصناعي. فالنماذج المتدفقة لم تعد مجرد نهج تجريبي — بل يمكنها أن تُشكّل أساسًا كاملًا وقابلًا للتوسّع لنمذجة اللغة في المستقبل، جامعةً بين سرعة التوليد المتوازي وجودة الأساليب التراجعية الذاتية.