نموذج Lafa بحجم 8B معلمة يسرّع توليد النص 2,54 مرة دون خسارة في الجودة

قدّم باحثون Lafa (Large flow language model)، وهو نموذج لغوي بحجم 8 مليارات معلمة يولّد النص على شكل كتل عبر flow مستمر. لم يتجاوز التدريب 30 مليار رمز. وفي وضع فك التشفير التخميني الذاتي، يحقق Lafa إنتاجية تبلغ 2,54x من إنتاجية النموذج الانحداري الذاتي، مع جودة مماثلة. وقد أُدرجت الورقة ضمن Hugging Face Daily Papers.

كيف يعمل Lafa

ينطلق المؤلفون من أن نماذج flow المستمرة للنصوص توفّر أدوات للتحكم والتسريع لا تتاح للانتشار المنفصل. تكمن المشكلة في الحجم: فالوصفات العملية للنماذج التي تضم مليارات المعلمات لا تزال قليلة. ويسدّ Lafa هذه الفجوة.

البنية قائمة على الكتل. تُعالَج البادئة بانتباه سببي، كما في نموذج انحداري ذاتي تقليدي. وداخل كل كتلة يعمل flow ثنائي الاتجاه غير متزامن، فتتشكل رموز الكتلة على التوازي. ويمنح هذا المخطط ميزتين عمليتين. أولًا، يمكن الحصول على Lafa بتكييف نماذج AR مدرّبة مسبقًا، دون البدء من الصفر. وثانيًا، يحتفظ الاستدلال بـ prefix caching وبفك التشفير المتوازي على مستوى الكتل.

أبرز الأرقام من الملخص:

• الأحجام: 0,5B و7B و8B معلمة.
• البيانات: أقل من 30B رمز للتدريب، وهو أكثر كفاءة من نماذج الانتشار السابقة.
• المهام: اتباع التعليمات والاستدلال والبرمجة. الجودة بمستوى AR أو أعلى.
• التقطير: يُضغط flow المتعلَّم إلى flow maps للتوليد في خطوة واحدة أو في عدة خطوات.
• السرعة: 2,54x من إنتاجية AR مع جودة مماثلة.
• المقارنة: يتفوق المخطط على multi-token prediction وعلى أساليب الانتشار المنفصل.

أثر جانبي حوّلوه إلى آلية

تتعلق الملاحظة الأكثر إثارة للاهتمام بالتدريب نفسه. فتدريب flow لا يُضعف قدرات نموذج AR المدرّب مسبقًا، بل يحسّنها في بعض الجوانب. ويعزو المؤلفون ذلك إلى تأثير multi-token prediction: يتعلم النموذج أن ينظر إلى الأمام عدة رموز دفعة واحدة.

وقد حوّلوا هذا التأثير إلى تسريع. يبني جزء flow مسوّدة الكتلة بسرعة، ثم يتحقق النموذج نفسه منها بأسلوب انحداري ذاتي. أما فك التشفير التخميني الكلاسيكي فيتطلب عادةً نموذج draft صغيرًا منفصلًا أو رؤوسًا إضافية. أما هنا فالمسوّدة والتحقق يعتمدان على الأوزان نفسها. وهذا يبسّط النشر: عدد أقل من الملفات، وتباعد أقل بين النماذج، ومجموعة أوزان واحدة في الذاكرة.

يُبقي التحقق عبر الجزء الانحداري الذاتي الجودة قرب مستوى AR، بينما تُلغي المسوّدة المتوازية جزءًا من الخطوات المتسلسلة. والنتيجة بحسب قياسات المؤلفين: 2,54x في الإنتاجية.

ما الذي لا يوضحه الملخص وما الذي ينبغي التحقق منه

لا يتضح من الوصف المختصر عدة أمور: ما نماذج AR التي جرى تكييفها بالضبط، وما حجم الكتلة المعتمد، وعلى أي معايير قياس وأي عتاد قيست الإنتاجية. كما لا تتوافر بيانات عن السلوك مع الدفعات الكبيرة، حيث يصطدم فك التشفير بحدود الذاكرة لا بالحسابات. ومن دون ذلك، ينبغي قراءة الرقم 2,54x بوصفه نتيجة لتكوين محدد، لا مضاعفًا عامًا.

أما بالنسبة لفرق الاستدلال، فالمؤشرات كالتالي. إذا تأكد التسريع على حركة مرور حقيقية، فسيُخدَّم تدفق الطلبات نفسه بعدد أقل من وحدات GPU. وهذا مهم خصوصًا لوكلاء البرمجة، إذ تجعل الإجابات الطويلة وكثرة الاستدعاءات المتسلسلة زمن الاستجابة عنق زجاجة. وبالنسبة للباحثين، يكمن الاهتمام في جانب آخر: فتكييف نموذج AR جاهز على أقل من 30B رمز أرخص من تدريب نموذج انتشار من الصفر. وعلى من يتابع هذا المجال أن ينظر في الورقة الكاملة إلى ثلاثة أمور: حجم الكتلة، وظروف قياس السرعة، وجودة النسخ المقطَّرة بخطوة واحدة وبعدة خطوات. وتتوقف على الإجابة عنها مسألة ما إذا كانت نماذج flow المستمرة ستصبح بديلًا عمليًا للانحدار الذاتي أم ستبقى اتجاهًا بحثيًا.