SLPO: منهج ينقل التعلّم المعزَّز بالمكافأة القابلة للتحقق إلى نماذج الاستدلال الكامنة

في يوليو 2026 نشر باحثون على arXiv نسخة أولية من ورقة SLPO (Surrogate Latent Policy Optimization)، وهو منهج ينقل التعلّم المعزَّز القائم على المكافأة النهائية إلى نماذج الاستدلال الكامنة ذاتية الانحدار، ويعلّمها اختيار طول «التفكير» بنفسها.

ما المقصود بالاستدلال الكامن

يخزّن الاستدلال الكامن (latent reasoning) الحسابات الوسيطة للنموذج في صورة متجهات متصلة، بدلًا من فك ترميز كل خطوة إلى رمز نصي. وبحسب ملخص الورقة على arXiv، لم يعد هذا النهج أدنى من سلسلة الاستدلال الصريحة (Chain-of-Thought, CoT)، بل يتفوق عليها أحيانًا، مع آفاق حسابية أقصر بشكل ملحوظ.

والتوفير هنا مباشر: فاستدلال CoT التقليدي يطوّر الفكرة رمزًا تلو رمز، وكل خطوة وسيطة تكلّف عملية فك ترميز مستقلة. أما النموذج الكامن فيقطع المسار نفسه داخل فضاء التمثيلات الداخلي، بسرعة أكبر وكلفة حسابية أقل.

لماذا لم ينجح التعلّم المعزَّز مع النماذج الكامنة؟

تعذّر تطبيق التعلّم المعزَّز بالمكافأة القابلة للتحقق (RLVR) المعتاد على النماذج الكامنة بسبب عائقين تقنيين. فقد تجاوزت نماذج الاستدلال الصريحة (CoT) حدود محاكاة بيانات التدريب بفضل المكافآت على النتيجة النهائية، بينما ظلّت النماذج الكامنة حتى الآن «مقيّدة بالمحاكاة».

ويرجع السبب، كما يكتب مؤلفو الورقة، إلى طبيعة المسارات الكامنة:

• لا تملك احتمالًا قابلًا للحساب لكل خطوة (per-step likelihood)، فلا يوجد ما تُربط به المكافأة على مستوى الخطوات؛
• لا توجد واجهة إيقاف تكيّفية عند ثبات ميزانية «التفكير»؛
• ولهذا لم تُفعِّل المكافأة على النتيجة النهائية توسيع الحوسبة وقت الاستدلال (test-time scaling).

ما الذي يقترحه SLPO

يعالج SLPO العائقين بمكوّنين. الأول كثافة سياسة بديلة تجريبية (surrogate policy density) فوق الانتقالات الكامنة، وهي توفّر توزيعًا احتماليًا يمكن بواسطته توزيع «الفضل» على النجاح على مستوى المسار بأكمله. والثاني «رأس إيقاف» (stopping head) مدرَّب على إشارة الصحة؛ والتحسين وفق المكافأة النهائية يحوّله إلى سياسة ذات أفق متغيّر تقرر بنفسها متى توقف الاستدلال.

أبرز الحقائق عن العمل:

• المنهج: SLPO (Surrogate Latent Policy Optimization)، نسخة أولية على arXiv، يوليو 2026.
• الهدف: نقل التعلّم المعزَّز بالمكافأة على النتيجة (outcome-reward RL) إلى نماذج الاستدلال الكامنة ذاتية الانحدار.
• المكوّن الأول: كثافة سياسة بديلة لإسناد المكافأة على مستوى المسار.
• المكوّن الثاني: stopping head مدرَّب على الصحة ← استدلال متغيّر الطول.
• النتيجة: ارتفاع Pass@k عند أخذ العينات المتوازي؛ ويُخصَّص مزيد من الحوسبة للأمثلة الصعبة.

وبحسب الملخص، يرفع SLPO في نمطَي التفكير المتصل و«الناعم» مقياس Pass@k عند أخذ العينات المتوازي، ويخصّص حسابات كامنة أطول للمسائل الصعبة، مع رفع الدقة الحتمية أيضًا.

«يحسّن SLPO مقياس

Pass@k عند أخذ العينات المتوازي، ويخصّص حسابات كامنة أطول للأمثلة الصعبة مع دقة حتمية أعلى»، — من ملخص الورقة على arXiv.

ماذا يعني ذلك

يزيل SLPO القيد الرئيسي أمام نماذج الاستدلال الكامنة: فصار بالإمكان الآن مواصلة تدريبها بالمكافأة على النتيجة النهائية، كما يُفعل منذ زمن مع سلسلة الاستدلال النصية. وإذا تأكدت النتيجة على نماذج أكبر، فهذا طريق إلى نماذج استدلال تفكّر بكلفة أقل من CoT المعتاد وتضبط عمق الاستدلال بنفسها بحسب صعوبة المسألة.

أسئلة شائعة

ما الاستدلال الكامن بعبارات بسيطة؟

هو أن يجري النموذج حساباته الوسيطة في فضاء متجهي داخلي، بدلًا من كتابة كل خطوة بالكلمات. وبحسب ملخص الورقة على arXiv، فإن هذا الأسلوب بات قابلًا للمقارنة مع سلسلة الاستدلال الصريحة (CoT)، ويتطلب في الوقت نفسه آفاق حساب أقصر.

بماذا يختلف SLPO عن التعلّم المعزَّز المعتاد لـ CoT؟

يعتمد التعلّم المعزَّز المعتاد بالمكافأة القابلة للتحقق على الاحتمال خطوةً بخطوة للرموز النصية. وهذا الاحتمال غير موجود للمسارات الكامنة، ولذلك يُدخل SLPO كثافة سياسة بديلة و«رأس إيقاف» قابلًا للتدريب — وبهما فقط تبدأ المكافأة على النتيجة النهائية بالعمل مع النماذج الكامنة.