T2Quant يعيد توزيع الدقة عبر خطوات نماذج LLM الانتشارية: حتى +6.7 نقطة مئوية

تولّد نماذج اللغة الانتشارية النص بطريقة تختلف عن نماذج LLM الانحدارية الذاتية المعتادة: فهي لا تكتب رمزًا تلو الآخر، بل «تنقّي» تسلسلًا مشوشًا تدريجيًا عبر عدة خطوات لإزالة الضوضاء. لهذا الأسلوب كلفة، لأن النموذج يجب أن يُشغَّل عدة مرات متتالية. يقترح باحثون في ورقة حديثة على Hugging Face Daily Papers خفض هذه الكلفة عبر التكميم (quantization)، ويقدّمون طريقة T2Quant. توزّع الطريقة دقة التنشيطات (عدد البتات) على خطوات إزالة الضوضاء بحسب المهمة المحددة. وعلى ثلاثة نماذج DLM وستة اختبارات معيارية، يحسّن T2Quant متوسط دقة طرق التكميم الحالية بما يصل إلى 6.7 نقطة مئوية ضمن ميزانية البتات نفسها.

لماذا تُربك خطوات إزالة الضوضاء التكميم المعتاد؟

يُضبط تكميم LLM المعتاد كما لو أن جميع التمريرات الأمامية للنموذج متكافئة. لكن هذا الافتراض لا ينطبق على النماذج الانتشارية. فخطأ التقريب الذي يحدث في خطوة مبكرة، حين يكون النص أقرب إلى الضوضاء، يؤثر بشكل مختلف عن الخطأ نفسه في الخطوات الأخيرة، حيث يدقّق النموذج التفاصيل. ويبيّن المؤلفون أن الحساسية للتكميم تعتمد على الزمن، أي على رقم الخطوة.

أما الاعتمادية الثانية فمرتبطة بالمهمة. فمهام downstream المختلفة تتطلب دقة مختلفة في مراحل مختلفة من إزالة الضوضاء. وقد يكلّف الملف الذي يناسب نوعًا واحدًا من الاختبارات المعيارية خسائر ملحوظة في الجودة عند تطبيقه على نوع آخر. ويصبح مخطط الدقة الواحد لجميع الخطوات وجميع المهام حلًّا وسطًا غير مثالي في أي حالة.

إشارة بلا بيانات موسومة

أهم نتيجة عملية في الورقة أن أنماط الحساسية هذه يمكن التنبؤ بها دون تسميات ground-truth ودون مقاييس خاصة بالمهمة (task-specific). عادةً يتطلب اختيار إعداد التكميم لمهمة ما تشغيل التقييم على بيانات موسومة، وهذا مكلف وغير ممكن دائمًا. يستخدم T2Quant إشارة حساسية لا تحتاج إلى تسميات (label-free)، ويقرر بناءً عليها أيّ الخطوات تحتاج فيها التنشيطات إلى بتات أكثر، وأيّها يكفيها عدد أقل.

والقيد هنا صارم: ميزانية الدقة الإجمالية ثابتة. فالطريقة لا تضيف بتات فوق الحد المسموح، بل تعيد توزيعها بين الخطوات. وإذا أمكن خفض الدقة في بعض مراحل التوليد دون ضرر يُذكر، يُوجَّه المورد المتحرر إلى الخطوات الحرجة.

أبرز معطيات الدراسة:

• الهدف: نماذج اللغة الانتشارية (DLM)؛
• ما يجري تحسينه: دقة التنشيطات عبر خطوات إزالة الضوضاء؛
• القيد: ميزانية بتات ثابتة؛
• إشارة الاختيار: label-free، دون تسميات ودون مقاييس خاصة بالمهمة؛
• التحقق: ثلاثة نماذج DLM وستة اختبارات معيارية؛
• النتيجة: ارتفاع متوسط دقة طرق التكميم الحالية بما يصل إلى +6.7 نقطة مئوية.

ما الذي يجب تغييره في مسار الاستدلال؟

ثمة تفصيل مهم: T2Quant لا يستبدل طرق التكميم الحالية، بل يحسّنها. ويسجّل المؤلفون زيادة مستقرة في متوسط الدقة فوق الأساليب المعروفة. ولا يحتاج الفريق الذي ينشر نماذج DLM إلى إعادة كتابة المنظومة بأكملها. يكفي إضافة طبقة تقرر أي دقة للتنشيطات تُستخدم في كل خطوة.

يمكن لمهندسي الاستدلال أن يخرجوا من الورقة بثلاثة استنتاجات. أولًا، ينبغي التعامل مع ملف الدقة عبر الخطوات بوصفه معامل ضبط مستقلًا لا ثابتًا. ثانيًا، يمكن اختيار الملف المناسب للمهمة دون بيانات موسومة، أي حتى في بيئة الإنتاج حيث لا توجد إجابات مرجعية. ثالثًا، عند وجود حد صارم للذاكرة والحوسبة، يمكن تحقيق مكسب بعدة نقاط مئوية دون زيادة ميزانية البتات.

وبالنسبة إلى الصناعة، تشير النتيجة إلى أن نماذج اللغة الانتشارية تتجه نحو أدوات التحسين نفسها المطبَّقة منذ زمن على نماذج LLM الانحدارية الذاتية، مع مراعاة البعد الزمني. وكلما انخفضت كلفة إزالة الضوضاء التكرارية، أصبحت منافسة DLM للنماذج المعتادة من حيث كلفة الرمز أكثر واقعية. لكن النتيجة حتى الآن أكاديمية، وقد تحققت على ثلاثة نماذج وستة اختبارات. ومن المرجح أن يُختبر مبدأ «الدقة تعتمد على الخطوة وعلى المهمة» في تطبيقات أخرى لنماذج DLM.