دراسة: الإفراط في التلاؤم وزيادة الحوسبة يلتهمان 68% من مكاسب تطوير الـ harness

عندما يطوّر فريق ما الـ harness المحيط بنموذج LLM مجمّد بشكل تلقائي، تتحسن المقاييس دون أي تحديث للأوزان. تبحث ورقة جديدة من Hugging Face Daily Papers في مقدار ما هو حقيقي من هذا التحسن. أدخل المؤلفون بروتوكول Harness-Delta Attribution (HDA) وطبّقوه على 11 نموذجًا منفِّذًا وثلاثة أطر لتطوير الـ harness. والنتيجة غير مريحة: ففي 21 تهيئة سجّلت مكسبًا ذا دلالة إحصائية على مجموعة البحث، يُعزى 54% من المكسب في المتوسط إلى الإفراط في التلاؤم مع خصوصيات الـ benchmark، وتعود 14% أخرى إلى ميزانية حوسبة إضافية أثناء الاستدلال (inference).

ما الذي يفكّكه HDA بالضبط؟

الـ harness هو كل ما يحيط بالنموذج: مطالبات النظام (system prompts) ووصف المهارات ومجموعة الأدوات وشيفرة التنسيق (orchestration). تعيد أطر التطوير التطوري كتابة هذه المكونات تكرارًا، وتنتقي النسخ التي تحقق أداءً أفضل على مجموعة البحث. وأوزان النموذج ثابتة في هذه العملية، ولذلك يبدو هذا النهج بديلًا رخيصًا للتدريب الإضافي (fine-tuning).

المشكلة أن الرقم النهائي «كانت 40 وأصبحت 52» يخلط عدة تأثيرات. يقسّم HDA المكسب إلى ثلاثة أجزاء:

• الإفراط في التلاؤم، أي المكسب الناتج عن خصوصيات مجموعة بحث بعينها؛
• تأثير test-time scaling، حين يستهلك الـ harness المطوَّر ببساطة مزيدًا من الرموز (tokens) أو المحاولات أو الخطوات؛
• المتبقي، الذي يعدّه المؤلفون حدًّا أعلى للتحسن القابل للتعميم.

لا يثبت المتبقي أن التحسن قابل للانتقال. إنه الحد الأقصى لما كان يمكن أن يبقى بعد طرح المكوّنين الأولين.

أرقام التهيئات الـ 21

تشمل التجارب مهام الرياضيات والبرمجة والمهام الإبداعية ومهام الوكلاء. واقتصر الاختيار على الحالات التي يكون فيها المكسب على مجموعة البحث ذا دلالة إحصائية، وبلغ عددها 21 حالة.

• المتوسط في هذه الحالات: يفسّر الإفراط في التلاؤم 54% من المكسب، ويفسّر test-time scaling نسبة 14%.
• في 14 من أصل 21 تهيئة، تتجاوز الحصة المجمّعة للعاملين 50%.
• بجمع المتوسطين، يعود إلى المتبقي نحو ثلث المكسب الأصلي. وهذا متوسط، لا ضمانة لإعداد بعينه.
• يعتمد حجم المتبقي وانتقال المكسب إلى المهام المستبقاة بدرجة كبيرة على نوع المهمة والنموذج والإطار.

ويتعلق استنتاج منفصل بالتحقق (validation). فالإشارات المبنية على مجموعة التحقق لا تمنع الإفراط في التلاؤم. وقد يحصل الفريق الذي يوقف التطوير عند أفضل درجة تحقق على harness مُفصَّل على قياس benchmark الخاص به. كما أن المكاسب على مجموعة البحث كثيرًا ما لا تنتقل إلى المهام المستبقاة. والبيانات التي تدل على أنها ستصمد أمام تحوّل التوزيع في الاستخدام العملي قليلة.

كيف نقيّم تطوير الـ harness عمليًا

بالنسبة إلى الفرق التي تبني الوكلاء، الخلاصة عملية. فالتقرير الذي يقول «أضاف الـ harness +12 نقطة» دون تفصيل لا يقول الكثير في حد ذاته. ويجب التحقق من ثلاثة أمور على الأقل. الأول: كيف تتصرف النتيجة على مهام مستبقاة فعلًا، لم تشارك لا في البحث ولا في اختيار نقطة الحفظ (checkpoint). الثاني: كم من الحوسبة صار الـ harness الجديد يستهلكها لكل مهمة، وماذا ستُظهر النسخة الأساسية بالميزانية نفسها. الثالث: مدى ثبات النتيجة إذا تغيّر توزيع المهام قليلًا، مثل الصياغات أو المجالات أو الأدوات.

أما بالنسبة إلى باحثي أطر التطوير، فيضع العمل معيارًا جديدًا: لم تعد المقارنة بمقياس واحد على مجموعة البحث تبدو كافية. وتصبح نسبة المكسب إلى مصدره (attribution) جزءًا من المنهجية، مثل دراسات الاستئصال (ablations) في تعلّم الآلة التقليدي.

وثمة قيود أيضًا. فالمتبقي في HDA حدّ أعلى، وليس قدرة تعميم مقيسة، كما أن الاستنتاجات مبنية على 21 تهيئة. لكن الاتجاه واضح. فما دام التقييم لا يفصل التحسن الحقيقي في الوكيل عن فرط التلاؤم والحوسبة الإضافية، فإن الادعاءات بإمكان تحسين الـ harness تلقائيًا دون تحديث الأوزان ينبغي أن تؤخذ مع تعديل بنحو ثلثي المكسب.