MIT: نسخة مُضعَفة تعلّم النموذج الاستدلال — بزيادة تصل إلى +13 نقطة في الدقة

ابتكر فريق من معهد ماساتشوستس للتقنية طريقة لتحسين نموذج الاستدلال دون معلّم خارجي ولا حلول مرجعية ولا بيئة تحقق. تحمل الطريقة اسم WISD. يؤخذ النموذج الأصلي وتُصنع منه نسخة أضعف عمدًا، إما بتخشين الأوزان (الكمّنة) وإما بحذف أصغرها (التقليم). ثم يُدرَّب الأصل على الفرق بين النسختين. وأبرز نتيجة كانت مع Qwen3.5-4B. فعلى HMMT 2025، وهي مسابقة هارفارد وMIT في رياضيات الأولمبياد، ارتفعت دقتها من 57,7% إلى 70,5%. وعلى LiveCodeBench v6، وهي مجموعة مسائل برمجية، صعدت من 39,1% إلى 56,7%.

لماذا نُضعف النموذج أصلًا

أصبح التقطير الذاتي، أي أن يعلّم النموذج نفسه، ممارسة شائعة. لكن الأساليب الرائجة تتطلب «معلومات مميّزة»: حلولًا مرجعية أو تحليلات خبراء أو تغذية راجعة من بيئة. ويعرف هذا المعلّم أكثر من الطالب لأنه يرى التلميح. أما إذا لم يتوفر لديك سوى حزمة مسائل بلا إجابات، فلا تعمل هذه الأساليب.

ينطلق المؤلفون من زاوية مختلفة. فالمعلّم لا يزداد قوة. يبقى النموذج الأصلي هو الطرف القوي في الثنائي، أما الشريك الضعيف فيُصنع اصطناعيًا بإفساد أوزانه. ويعطي الفرق في تفضيل التوكنات بينهما إشارة إلى الاتجاه الذي ينبغي أن تتحسن فيه السياسة (policy). وقد ظهرت فكرة مشابهة سابقًا في أبحاث «الضعيف يعلّم القوي». والجديد هنا أن النموذجين يؤخذان من نقطة حفظ (checkpoint) واحدة.

كيف تعمل الطريقة تقنيًا

يتألف الإجراء من عدة خطوات:

• يولّد النموذج الأصلي حلولًا لمسائل غير موسومة. في التجارب كانت 3200 مسألة، بأربع إجابات لكل مسألة.
• يقيّم نموذجان مجمّدان، هما الأصل والنسخة المُضعَفة، كل توكن في هذه الإجابات ضمن السياق نفسه. ينال التوكن إشارة موجبة إذا رآه الأصل أرجح من النسخة الضعيفة، وإشارة سالبة إذا كان العكس.
• يبدأ الطالب من أوزان الأصل ويتعلم إزاحة التوزيع نحو التوكنات ذات نسبة الاحتمالات الأكبر. ولا تتغير المسارات (trajectories) ولا نموذجا التقييم أثناء التدريب. وعند الاستدلال (inference) يعمل الطالب وحده، ولا توجد نسخة ضعيفة بجانبه.

تُصنع النسخة بطريقتين. ولا تحتاج أي منهما إلى بيانات معايرة أو إعادة تدريب:

• الكمّنة بدقة بتّية صغيرة. تُقسَّم الأوزان إلى مجموعات، وتُقرَّب القيم داخل كل مجموعة إلى عدد صغير من المستويات وفق مخطط متماثل.
• التقليم حسب المقدار. تُصفَّر داخل المجموعة الأوزان التي تقل عن عتبة نسبية، ثم تُعاد نظيمة (norm) كل صف خرج إلى قيمتها الأصلية.

يُفسَد فقط إسقاطات الانتباه والطبقات كاملة الاتصال، بما فيها الخبراء في نماذج Mixture-of-Experts. أما التضمينات (embeddings) ورؤوس الخرج وطبقات التطبيع والتوجيه فلا تُمَس. وتبقى البنية والمُجزِّئ (tokenizer) كما هما، ولذلك يمكن مقارنة تنبؤات النسخة بالأصل مباشرة. ولو كانت النسختان متطابقتين لما وُجدت إشارة. أما إفساد الأوزان فيخلق فرقًا يعتمد على التوكن المحدد.

ماذا أظهرت التجارب

اختُبرت الطريقة على خمسة نماذج من عائلات وأحجام مختلفة، كثيفة وMoE: Qwen3-4B وOLMo-3-7B-Think وQwen3.5-4B وQwen3.6-27B وQwen3.6-35B-A3B. وشملت الاختبارات خمسة: ثلاثة في الرياضيات، منها HMMT 2025 ومسائل الجمعية الرياضية الأمريكية لعام 2026، واثنان في الشيفرة البرمجية، منهما LiveCodeBench v6. وقيست الرياضيات بمتوسط 32 محاولة لكل مسألة، والشيفرة بأربع محاولات.

• رفعت الكمّنة متوسط الدقة فوق النماذج الأصلية بمقدار 4,0 نقطة، ورفعه التقليم بمقدار 5,5.
• سُجّل التحسن في 21 من أصل 25 زوجًا من «نموذج — اختبار» مع الكمّنة، وفي 23 من 25 مع التقليم.
• كانت Qwen3.5-4B أكبر المستفيدين: ارتفع متوسطها على الاختبارات الخمسة بمقدار 11,3 نقطة مع الكمّنة و13,4 مع التقليم.
• أضاف التقليم إلى Qwen3.6-27B في المتوسط 5,2 نقطة.
• أضافت الكمّنة إلى Qwen3.6-35B-A3B ما مقداره 5,9 نقطة. ففي HMMT 2025 ارتفعت من 68,5% إلى 74,6%، وفي LiveCodeBench v6 من 61,8% إلى 69,5%.

يؤكد المؤلفون أن الصيغتين تنافسان، على Qwen3-4B وOLMo-3-7B-Think، طريقتي OPSD وSDPO اللتين تحتاجان إلى حلول مرجعية أو تغذية راجعة. وتفوق متوسطات WISD على الاختبارات الخمسة الأرقام المنشورة لهاتين الطريقتين الأساسيتين. وثمة تحفظ مهم: المقارنة تستند إلى نتائج منشورة سابقًا، ولم تُعَد فيها كل الطرق في ظروف متطابقة. والعمل نسخة أولية (preprint)، ولا يوجد تحقق مستقل منه حتى الآن.

ما الذي يعنيه ذلك عمليًا

بالنسبة إلى الفرق التي تعيد تدريب النماذج المفتوحة على بياناتها الخاصة، تكمن الجاذبية في انخفاض كلفة الدخول. فلا يلزم سوى نقطة حفظ ومجموعة مسائل بلا إجابات. ولا حاجة إلى واسمين ولا إلى بيئة تحقق ولا إلى نموذج خارجي قوي. وعمليات الأوزان بسيطة ولا تتطلب معايرة، وأحد خيارَي الإضعاف، وهو الكمّنة، جزء أصلًا من أدوات النشر المعتادة.

وتبقى أسئلة مفتوحة. فقد جاءت النتائج في الرياضيات والشيفرة، حيث توجد معايير واضحة للصحة. ولا يُعرف إن كانت الطريقة ستنتقل إلى المسائل المفتوحة التي تخلو من معايير كهذه. كما أُجريت التجارب على نماذج حتى 35 مليار معامل. وقد نشر المؤلفون الشيفرة على GitHub (jet-ai-projects/WISD)، ولذلك يمكن التحقق من الأرقام على نماذجك الخاصة منذ الآن.