Prefix-GRPO: طريقة لتدريب النماذج اللغوية الصغيرة الوكيلة على بادئات مسارات النموذج المعلّم

اقترح باحثون طريقة Prefix-GRPO، وهي طريقة تعلّم معزَّز نُشرت على arXiv (cs.LG) في يوليو 2026. تساعد الطريقة النماذج اللغوية الصغيرة الوكيلة على التعلّم من مسارات نموذج معلّم قوي دون أن تتحول إلى محاكاة لمرة واحدة، وتتفوق في ثلاث بيئات — TextCraft وBabyAI وALFWorld — على التقطير الكلاسيكي وعلى التعلّم المعزَّز القياسي.

لماذا يتعثر التقطير في المهام الطويلة

يختزل التقطير المباشر السلوك الغني متعدد الخطوات لدى المعلّم في أهداف محاكاة أحادية الخطوة، وهذا غير فعّال حيث تحدد القرارات المبكرة الحالات والمكافآت اللاحقة. وتُعدّ النماذج الصغيرة أساسًا جذابًا للوكلاء التفاعليين لأنها رخيصة وسريعة. لكن حين يتعين على الوكيل تنفيذ سلسلة طويلة من الإجراءات (جمع غرض، أو بلوغ هدف، أو تنفيذ تعليمة)، يفقد أسلوب «كرّر إجابة المعلّم» البنية السببية: يحفظ النموذج العبارات الأخيرة، لكنه لا يفهم كيف وصل المعلّم إلى الحالة المطلوبة.

كيف تعمل Prefix-GRPO

تقسّم Prefix-GRPO كل مسار للمعلّم إلى مكوّنين: replay-aligned prefix queries (بادئات لإعادة التشغيل) وonline continuations (استكمالات عبر الإنترنت). تُعاد كل بادئة في البيئة من جديد لاستعادة حالة وسيطة صالحة، ثم يواصل الطالب التفاعل بنفسه ويحصل على مكافأة على إنجاز المهمة.

الفارق الجوهري عن response-only GRPO أن الطريقة تطبّق تحديثات السياسة المقصوصة (clipped) على رموز المساعد التاريخية داخل البادئة المعاد تشغيلها أيضًا. أما اللوغاريتمات الاحتمالية القديمة (log-probabilities) لهذه الرموز فيقدّرها نقطة SFT منفصلة ناتجة عن تقطير السياسة. وبذلك يندمج تعلّم البادئة وتعلّم الاستكمال في صيغة واحدة لتحسين السياسة.

• الطريقة: Prefix-GRPO، تعلّم معزَّز مبني على GRPO
• الفكرة: مسار المعلّم = بادئة لإعادة التشغيل + استكمال عبر الإنترنت
• الفارق: تحديثات clipped تشمل أيضًا رموز المساعد داخل البادئة
• تقدير اللوغاريتمات الاحتمالية القديمة: عبر نقطة SFT مقطَّرة السياسة (policy-distilled)
• بيئات الاختبار: TextCraft وBabyAI وALFWorld (3 معايير اختبار)

ماذا أظهرت التجارب

في البيئات الثلاث جميعها، حسّنت Prefix-GRPO أداء الوكلاء المبنيين على نماذج صغيرة مقارنةً بالتقطير وبخطوط الأساس القياسية للتعلّم المعزَّز. وتحققت سلسلة منفصلة من تجارب الاستئصال (ablation) من مصدر المكسب، فتبيّن أن إعادة تشغيل البادئات وحدها لا تكفي دون تحسين صريح للرموز داخلها.

إعادة تشغيل البادئات وحدها لا تكفي دون تحسين صريح للرموز داخل البادئة.

— صياغة من ملخص الدراسة على arXiv. بعبارة أخرى، لا يكفي استعادة الحالة الوسيطة للبيئة، بل ينبغي أيضًا تحديث السياسة على الرموز التاريخية، وإلا فلن يحقق الأسلوب أثره الكامل. وبحسب المؤلفين، نُشر التنفيذ وسكربتات إعادة إنتاج النتائج في متناول الجميع على GitHub.

ماذا يعني ذلك

تمثّل Prefix-GRPO محاولة لنقل جزء من «ذكاء» النماذج المعلّمة الكبيرة إلى نماذج مدمجة دون فقدان منطق السلوك متعدد الخطوات. وإذا أمكن توسيع النهج خارج بيئات الألعاب، فقد تتمكن الوكلاء المحليون الرخيصون من حل المهام الطويلة بأداء أفضل بوضوح مما يتيحه التقطير المعتاد.

الأسئلة الشائعة

ما هي Prefix-GRPO؟

هي إطار تعلّم معزَّز للنماذج اللغوية الصغيرة الوكيلة. تقسّم مسارات النموذج المعلّم إلى بادئات، وتعيد تشغيلها في البيئة لاستعادة الحالة الوسيطة، ثم تواصل تدريب الطالب عبر التفاعل المباشر بمكافأة على إنجاز المهمة.

ما الفرق بين Prefix-GRPO وGRPO المعتاد؟

على عكس response-only GRPO الذي يحدّث السياسة على الإجابات الجديدة فقط، تطبّق Prefix-GRPO تحديثات مقصوصة على رموز المساعد التاريخية داخل البادئة المعاد تشغيلها أيضًا، وتقدّر لوغاريتماتها الاحتمالية القديمة عبر نقطة SFT منفصلة مقطَّرة السياسة (policy-distilled).

أين اختُبرت الطريقة؟

اختبر المؤلفون Prefix-GRPO في ثلاث بيئات للوكلاء — TextCraft وBabyAI وALFWorld — وتفوقت فيها على التقطير وعلى خطوط الأساس القياسية للتعلّم المعزَّز. والشيفرة وسكربتات إعادة الإنتاج متاحة على GitHub.