تكرار الطبقات في حلقات يخفّض كلفة تدريب نماذج LLM الانتشارية حتى 3.3 مرة

اعتُبرت نماذج اللغة الانتشارية ذات الضوضاء المنتظمة (UDLM) طويلًا بديلًا مثيرًا للاهتمام للانحدار الذاتي، لكنه مكلف. وتبيّن دراسة جديدة كيف يمكن خفض هذه الكلفة بشكل ملحوظ. فإذا جرى تمرير عدة طبقات مبكرة من المحوّل (Transformer) بصورة تكرارية داخل كل خطوة من خطوات إزالة الضوضاء، فإن looped UDLM يصل إلى validation NLL الخاص بنموذج UDLM العادي المدرَّب على نحو 0.5 تريليون رمز، بكلفة أقل بما يصل إلى 2.8 مرة على OpenWebText وبما يصل إلى 3.3 مرة على FineWeb-Edu. ولم يتغيّر هدف التدريب ولا أداة أخذ العيّنات في هذه العملية.

لماذا يكلّف تدريب UDLM كثيرًا ولماذا يُحتمل ذلك؟

تعمل النماذج الانتشارية المقنَّعة (MDLM) مع سياق نظيف. يُستبدل جزء من الرموز بقناع، وتبقى الرموز الأخرى صحيحة، ويستعيد النموذج المواضع الناقصة. أما النماذج المنتظمة فبنيتها أكثر صرامة. إذ يمكن استبدال أي رمز في التسلسل برمز عشوائي من المعجم العادي، ثم تصحيحه في الخطوات التالية. وأثناء التدريب يجب على النموذج تنقية النص من الضوضاء اعتمادًا على سياق قد يكون هو نفسه غير موثوق.

تصبح المهمة أصعب، ولذلك تتطلب UDLM عمليات FLOPs أكثر من MDLM. وفي المقابل، يشير المؤلفون إلى نتائج أقوى في مهام downstream المرتبطة بالاستدلال. فإمكانية إعادة النظر في رمز كُتب سابقًا تمنح النموذج فرصة لتصحيح خطئه، بدل أن يحمله حتى نهاية التوليد. تبقى المسألة في الكلفة، وهي بالتحديد ما تحاول الدراسة خفضه.

حلقة بدل معاملات جديدة

أثبتت فكرة selective looping فائدتها سابقًا مع MDLM عند تساوي ميزانية FLOPs. تُطبَّق عدة طبقات مبكرة من المحوّل بشكل تكراري داخل خطوة واحدة من خطوات إزالة الضوضاء. تبقى أوزان الطبقات نفسها، لكن العمق الفعلي للحساب يزداد. نقل المؤلفون هذا النهج إلى UDLM ولم يغيّروا شيئًا آخر: لا دالة الخسارة ولا إجراء أخذ العيّنات.

أبرز الأرقام من الدراسة:

• التدريب: يصل looped UDLM إلى validation NLL الخاص بنموذج UDLM الأساسي المدرَّب على ~0.5 تريليون رمز، بكلفة أقل بما يصل إلى 2.8x على OpenWebText.
• على FineWeb-Edu يكون المكسب أكبر: حتى 3.3x أقل في FLOPs.
• التوليد: عند ميزانية NFE متساوية (عدد مرات تشغيل الشبكة لكل عيّنة)، ينخفض generation perplexity بما يصل إلى 9.8% مقارنة بنموذج بلا حلقات.
• تتحقق معظم التحسينات عند عدد معتدل من الحلقات، وتعطي الزيادة اللاحقة مكاسب أقل بكثير.
• توزيع عدد الحلقات أثناء التدريب: الانحياز نحو القيم الصغيرة يقلّص عدد الحلقات عند الاستدلال بنسبة 12% قياسًا بأخذ العيّنات المنتظم، ولا تنخفض الدقة في مهام downstream.

ومن المهم بشكل خاص أن الاعتماد هنا على مجموعة مقاييس معًا. يعكس validation NLL جودة التدريب، بينما يعكس generation perplexity عند NFE ثابت جودة التوليد نفسه. ويظهر المكسب في كليهما، فيما يؤكد الاختبار على مهام downstream أنه لا يقتصر على مقاييس مريحة للنموذج.

كم حلقة ينبغي استخدامها ولمن يفيد ذلك؟

الاستنتاج العملي هنا واقعي جدًا. فعائد زيادة عدد الحلقات ليس خطيًا، لذلك لا معنى لملاحقة أقصى قدر من التكرار. القيمة المعتدلة تمنح الجزء الأكبر من التحسن، وبعدها تنمو تكاليف كل خطوة أسرع من الفائدة. وهذا مهم بوجه خاص للنماذج الانتشارية، إذ يتطلب التوليد فيها أصلًا كثيرًا من تكرارات إزالة الضوضاء، وكل حلقة زائدة تُضرب في عدد الخطوات.

النقطة العملية الثانية تتعلق بتوزيع عدد الحلقات. يبدو أخذ العيّنات المنتظم أثناء التدريب خيارًا طبيعيًا، لكن تكرار القيم الصغيرة بوتيرة أعلى يجعل النموذج أكثر تحمّلًا لنمط التشغيل المقتطع. والنتيجة أن الاستدلال يحتاج إلى حلقات أقل بنسبة 12% مع الدقة نفسها. وبالنسبة إلى الفرق التي تبني نماذج LLM الانتشارية، فهذه وصفة جاهزة للضبط. فهي لا تتطلب تغيير شيء في أداة أخذ العيّنات، ما يعني إمكانية إضافتها إلى خط معالجة قائم.

لكن الأهمية الرئيسية للدراسة تكمن في أمر آخر. فقد كانت UDLM أقوى في الاستدلال لكنها خسرت من حيث كلفة التدريب. وإذا كان تكرار الطبقات يخفّض التكاليف باستمرار بمقدار 2.8–3.3 مرة، فإن الفجوة السعرية مع MDLM تضيق، وتصبح الحجة لصالح الضوضاء المنتظمة أكثر إقناعًا. أما مسألة التوسع إلى ما بعد OpenWebText وFineWeb-Edu فتبقى مفتوحة. غير أن الاتجاه واضح: يمكن شراء جودة نماذج اللغة الانتشارية بالهندسة المعمارية، لا برموز جديدة وساعات GPU فقط.