TraceForge تُدرّب النماذج على «أفكارها الخاصة»: +7.1 نقطة على MBPP+

اقترح فريق TraceForge طريقة تقطير للحالة التي يقدّم فيها المعلّم الإجابة فقط ويُخفي استدلاله. فبدل محاولة استخراج سلسلة الأفكار المخفية، يأخذ النظام سياق المعلّم وإجابته النهائية، ثم يكتب بنفسه استدلالًا بأسلوب عائلة نموذج الطالب. وعلى خمسة اختبارات معيارية، مع ثبات بقية الظروف، لم تُظهر المهام العامة فرقًا يُذكر تقريبًا، لكن المكسب في البرمجة ملموس: مع الأسئلة نفسها (5 000 سؤال) وإجابات المعلّم نفسها، ارتفع HumanEval+ بمقدار 3.7 نقطة وMBPP+ بمقدار 7.1.

الاستدلال المغلق وحلّ التفافي هش

لا يزال توليد بيانات التدريب بواسطة LLM لصالح نموذج آخر من أكثر طرق تدريب النماذج شمولًا. لكن بعض فرق frontier أغلقت هذه القناة في أنظمتها: فما يخرج إلى الخارج هو الإجابة أو ملخص موجز، دون مسار استدلال مفصّل. ويشير مؤلفو TraceForge إلى مفارقة هنا: فهذه النماذج نفسها نشأت على تقطير المعرفة البشرية، بينما لا يزال تقطير النموذج المفتوح أمرًا معتادًا. أما القيد فيخص مخرجاتها هي فقط.

وتمكّنت أعمال حديثة من استعادة الاستدلال المخفي عبر إعادة تشغيل الكتل المشفّرة بين النماذج. الطريقة تعمل، لكنها تنتهك شروط استخدام المزوّدين. ولا يمكن بناء منتج عليها على المدى البعيد، لأن أي تعديل في القواعد أو في الحماية التقنية يُبطل خط المعالجة بأكمله.

المولِّد والناقد: كيف تُصنع أفكار الآخرين بأيدينا

تقترب TraceForge من المشكلة من زاوية مختلفة. يتلقى النظام السياق وإجابة المعلّم، ويكتب الاستدلال مولِّدٌ دُرّب على إعادة إنتاج مسارات عائلة النماذج المطلوبة.

التدريب على مرحلتين. أولًا مرحلة supervised: يتعلم المولِّد استعادة المسارات الحقيقية للعائلة انطلاقًا من السياق والإجابة. ثم مرحلة adversarial: يتعلم الناقد تقدير مدى مصداقية ظهور المسار بمظهر الحقيقي، ويتكيّف المولِّد معه. وفي النهاية، عندما يتلقى المولِّد إجابة المعلّم، يكتب الاستدلال كما كان سيكتبه نموذج من عائلة الطالب.

قِيست المعقولية بواسطة مُقيِّم مستقل يقدّر احتمال أن يكون المسار أصيلًا، على مقياس من 0 إلى 1. ويؤكد المؤلفون أن هذه تقديرات للأصالة، وليست نسبة الحلول الصحيحة.

• المسارات المُولَّدة: 0.68 في المتوسط
• المسارات الحقيقية: 0.66
• المسارات التي اختارها الناقد من بين أربعة مرشحين: 0.82
• عيّنة التدريب: 5 000 سؤال بإجابات المعلّم نفسها
• HumanEval+: +3.7 نقطة في نقطة التحقق (checkpoint) النهائية
• MBPP+: +7.1 نقطة في نقطة التحقق النهائية، وتبقى الأفضلية قائمة في كل نقطة تحقق

ينبغي أن نتذكر أن المُقيِّم يقيس مدى الشبه بالأصل. فحصول المسارات المُولَّدة على 0.68 مقابل 0.66 للحقيقية يعني فقط أن المُقيِّم لا يميّزها عن المسارات الواقعية. أما صحة الاستدلال فلا يقول هذا الرقم عنها شيئًا. في المقابل، يرفع اختيار الأفضل من بين أربعة مرشحين التقييم إلى 0.82، فيتبيّن أن الناقد مفيد ليس في التدريب فحسب، بل أيضًا كمرشّح عند المخرجات.

أين يوجد المكسب وأين لا يوجد

صُمّمت التجربة بحيث يتغيّر متغيّر واحد فقط. قورنت خمس مجموعات تدريب على خمسة اختبارات معيارية. وفي المهام العامة جاءت المجموعات متقاربة تقريبًا. أما في البرمجة، فقد تفوّق الاستدلال المُولَّد على محتوى thinking الأصلي في Fable 5، مع الأسئلة نفسها وإجابات المعلّم نفسها.

لا يزال المؤلفون يفترضون فقط سبب ذلك: فالاستدلال المكتوب بأسلوب عائلة الطالب يسهل عليه استيعابه. وإن صحّت الفرضية، فالمهم ليس جودة أفكار الآخرين، بل مدى توافقها مع الطريقة التي يبني بها الطالب سلسلته بنفسه. وهذا معقول في الكود: فبنية الاستدلال أكثر صرامة، وأخطاء الأسلوب أوضح في الاختبارات.

ما الذي ينبغي تغييره في خط التقطير

بالنسبة إلى الفرق التي تواصل تدريب النماذج على إجابات الأنظمة المغلقة، الخلاصة عملية. غياب المسارات لدى المعلّم ليس طريقًا مسدودًا، ولا حاجة إلى الالتفاف على قيود المزوّد. يكفي السياق والإجابة، ويمكن تركيب الاستدلال محليًا ودون انتهاك القواعد.

والقيود واضحة أيضًا. فالمكسب في المهام العامة لم يظهر، وإنما ظهر في البرمجة. كما أن تقدير الأصالة يظل مؤشرًا بديلًا (proxy)، ولا يمكن الاعتماد عليه دون التحقق من صحة المسارات على مهامكم الخاصة. وخطوة أولى معقولة: خذوا مهمة برمجية واحدة، وولّدوا أربعة مرشحين لكل إجابة، واختاروا الأفضل بالناقد، ثم قارنوا بالعيّنة الأساسية على MBPP+. فإذا تكرر فارق يقارب سبع نقاط، فسيؤتي الانتقال إلى هذا الخط ثماره.