SAZO يسرّع الضبط الدقيق لنماذج LLM دون backprop: عدد استعلامات أقل حتى 6 أضعاف للوصول إلى قيمة loss نفسها

قدّم فريق مؤلفي الورقة البحثية arXiv:2610.12566 طريقة SAZO، أي Sample-Adaptive Zeroth-Order Optimization. هي طريقة لضبط النماذج اللغوية الكبيرة دون backpropagation، وتبلغ قيمة training loss نفسها بعدد استعلامات أقل حتى 6 مرات مقارنةً بالأساليب القياسية من نوع ZO. لا تتطلب الطريقة تشغيلات إضافية للنموذج، ولا تضيف إلى MeZO سوى O(N) من القيم العددية، حيث N هو عدد أمثلة التدريب. أُجريت التجارب على أربع عائلات من النماذج، وارتفعت كذلك نتائج downstream في المتوسط.

أين تضيع الكفاءة في تدريب ZO

تستبدل الأمثلة من الرتبة الصفرية بالتدرّج الحقيقي تقديرًا له. تُربَك أوزان النموذج قليلًا في اتجاه عشوائي، ثم تُحسب فروق loss، وتُتخذ الخطوة بناءً عليها. لا حاجة إلى تخزين التنشيطات (activations) ولا التدرجات، ولذلك تبقى الذاكرة عند مستوى الاستدلال (inference). وهذه حجة جدية عند ضبط النماذج الكبيرة على عتاد محدود. لكن الثمن هو الضجيج: يخرج التقدير مشتتًا بتباين عالٍ، وتلزم خطوات كثيرة.

تأخذ الطرق المستخدمة حاليًا، ومنها MeZO، أمثلة التدريب باحتمالات متساوية. ويشير مؤلفو SAZO إلى نقطة الضعف في هذا المخطط: أهمية المثال للتدريب ليست ثابتة. فبعض الأمثلة «استُوعبت» بالفعل ولا تكاد تحرّك الأوزان، وأخرى ما زالت تعطي تدرجًا كبيرًا. والعينة المنتظمة تتجاهل ذلك، فيدخل في التقدير تباين كان يمكن تفاديه.

كيف تتعلم SAZO اختيار الأمثلة

الصعوبة الأساسية أن التدرجات الحقيقية غير متاحة في نمط ZO. لذلك تستخلص SAZO معلومات عن نظيم التدرج من الفروق الاتجاهية التي تحسبها الطريقة أصلًا في كل خطوة. ولا حاجة إلى استدعاءات إضافية للنموذج لهذا الغرض.

المشكلة الثانية هي ندرة الإشارة. فالدفعة الصغيرة (minibatch) تمسّ جزءًا ضئيلًا فقط من مجموعة البيانات، وأهمية الأمثلة تتغير أثناء التدريب. لذا تحتفظ SAZO لكل مثال بمتوسط متحرك أسّي يجمع الملاحظات بين التحديثات. وبناءً على هذه التقديرات تُوزَّع الاستعلامات تكيفيًا: تقع الأمثلة المهمة في العينة بوتيرة أعلى.

يُعلَن الجانب النظري في نقطتين. أولًا، تتطابق SAZO تقاربيًا مع الحد الرئيسي لتقارب أوراكل العينة ذي التباين الأدنى، أي المخطط المثالي الذي لا تتاح في الممارسة معرفة النظائم الحقيقية اللازمة له. ثانيًا، تُظهر الطريقة معدل تقارب أسرع بصرامة من الأساليب القياسية.

المعطيات الرئيسية

• الحسابات الإضافية: صفر تقديرات إضافية للنموذج مقارنةً بـ MeZO.
• الذاكرة الإضافية: O(N) من القيم العددية لحالة المتوسطات المتحركة.
• التسريع: حتى 6× في عدد الاستعلامات للوصول إلى training loss نفسه.
• الجودة: تحسّن متوسط النتيجة في مهام downstream.
• نطاق التحقق: أربع عائلات من النماذج.
• النظرية: التطابق مع الحد الرئيسي لأوراكل التباين الأدنى، ومعدل تقارب أفضل بصرامة.

الدلالات العملية

إن O(N) من القيم العددية قدر ضئيل جدًا. فمجموعة بيانات من 100 ألف مثال بدقة float32 تحتاج نحو 400 كيلوبايت، وهو مقدار مهمل قياسًا بأوزان النموذج. وهذا يعني أن الميزة الرئيسية لـ ZO، وهي انخفاض استهلاك الذاكرة، تبقى محفوظة تقريبًا بالكامل. وبالنسبة للفرق التي تضبط النماذج على بطاقة أو بطاقتين وتصطدم بحدود الذاكرة في backprop، قد يكون هذا مسارًا أرخص مما كان متاحًا.

غير أن هناك تحفظات. فقد قيس التسريع بعدد الاستعلامات لا بالزمن الفعلي (wall-clock)، ولا يذكر الملخص (abstract) شيئًا عن زمن الاستجابة الفعلي. وما زالت طرق ZO تتطلب عددًا كبيرًا من الخطوات، ولم تُعلن الورقة صراحةً عن مقارنة مع الضبط الدقيق الكلاسيكي بالتدرجات. كما أن النص لا يذكر أسماء النماذج ولا المهام. وقبل إدراج SAZO في خط الإنتاج (pipeline)، يُستحسن انتظار الشيفرة وإعادات الإنتاج المستقلة.

ومع ذلك، فالاتجاه واضح. فإذا أمكن تحسين اختيار الأمثلة في تدريب ZO بما يقارب المجان، فيمكن كذلك إعادة النظر في افتراضات راسخة أخرى منذ زمن، مثل العينة المنتظمة.