طريقة FMR تخفض أخطاء مواءمة وكلاء التعلم المعزز بنسبة 98% في التعلم بالمحاكاة

نشر باحثون في يوليو 2026 ورقة بحثية أولية على arXiv تصف طريقة Feedback Manipulation Regularization (FMR)، وهي طريقة لمواءمة الوكلاء دون اتصال (offline) في مرحلة واحدة أثناء التعلم بالمحاكاة، وتخفض معدل انتهاك القيود القيمية بنسبة 98%.

لماذا نحتاج إلى طريقة جديدة للمواءمة

تقوم معظم المقاربات الحديثة لمواءمة وكلاء التعلم المعزز، أي تدريب أنظمة تتصرف وفق القيم الإنسانية، على خطوط معالجة متعددة المراحل. يتعلم الوكيل أولاً من العروض التوضيحية، ثم يتلقى تغذية راجعة تقييمية من البشر، ثم يمر بمرحلة منفصلة من الضبط الدقيق، كما هو الحال في RLHF.

صُممت هذه المخططات في الأصل للنماذج اللغوية بصيغة «القطّاع السياقي» (contextual bandit)، إذ تُختزل سلسلة الإجراءات كلها في توليد إجابة واحدة. أما في البيئات التسلسلية بالكامل، مثل الروبوتات ووكلاء الألعاب والأنظمة المستقلة، فتعمل هذه البنية بصورة سيئة. فالوكيل يتخذ قراراته خطوة بخطوة، وحتى الانحراف الطفيف عن القيود القيمية يتراكم على امتداد سلسلة الإجراءات.

كيف تعمل FMR

تعالج FMR هذه المشكلة بدمج التغذية الراجعة التقييمية مباشرة في عملية التعلم بالمحاكاة بوصفها مُنظِّماً (regularizer)، دون مرحلة RLHF منفصلة أو خط معالجة متعدد المراحل.

أبرز خصائص الطريقة:

• الحياد الخوارزمي: تعمل FMR فوق أي خوارزمية تعلم بالمحاكاة قائمة، ولا تتطلب تغيير البنية الأساسية
• تعلم دون اتصال في مرحلة واحدة: عملية المواءمة كلها مرحلة واحدة، دون التنقل بين خطوط معالجة مختلفة
• المتانة عند نقص البيانات: تحافظ الطريقة على فعاليتها مع العروض التدريبية الشحيحة والمشوشة
• إشارة تصحيحية لا مكافأة إضافية: تُزيح التغذية الراجعة توزيع التدريب نحو السلوك المتوافق، ولا تضيف دالة مكافأة أخرى

ماذا أظهرت الاختبارات في Safety Gymnasium

للتحقق من الطريقة، كيّف المؤلفون منصة Safety Gymnasium، وهي مجموعة من البيئات المحاكاة المصممة خصيصاً لتقييم السلوك الآمن للوكلاء. واختُبرت FMR فوق عدة خوارزميات أساسية للتعلم بالمحاكاة.

جاءت النتائج لافتة: فعلى امتداد نطاق الخوارزميات المختبرة، خفضت الطريقة مستوى عدم الامتثال للقيود القيمية بنسبة تصل إلى 98%. ويعني ذلك أن الوكيل بات ينتهك القيود الإنسانية المحددة بوتيرة أقل بكثير، ومن دون أن تتراجع جودة محاكاته للسلوك المستهدف.

«تظل FMR متينة في ظروف البيانات المحدودة، حتى عند التدريب على عروض

توضيحية متوافقة شحيحة وعروض مشوشة فقيرة المعلومات»، كما أفاد المؤلفون في الورقة البحثية الأولية.

ومن الأمور اللافتة أن التحسن ظهر في الوقت نفسه في مقياسين متنافسين: صار الوكيل أدق في نسخ العروض التوضيحية، وأقل انتهاكاً للقيود القيمية.

ما معنى ذلك

تمثل FMR وسيلة محايدة خوارزمياً وقابلة للتطبيق عملياً لتحسين مواءمة وكلاء التعلم المعزز دون إعادة بناء نظام التدريب بالكامل. وبالنسبة للمطورين الذين يعملون على مهام تسلسلية حقيقية، مثل الروبوتات والأنظمة المستقلة والمحاكاة، فهي مكوّن قد يكون جاهزاً للاستخدام ويمكن دمجه في المنظومة القائمة. وإذا تأكدت النتائج على معايير اختبار أوسع، فقد تدخل FMR ضمن مجموعة الأدوات القياسية حيث تترتب على أخطاء المواءمة عواقب حقيقية.