طريقة FMR تقلل أخطاء محاذاة وكلاء التعلم المعزز بنسبة 98% في التعلم بالتقليد

نشر الباحثون ورقة بحثية أولية على arXiv في يوليو 2026 تصف Feedback Manipulation Regularization (FMR) — طريقة لمحاذاة وكيل واحد خارج الإنترنت أثناء التعلم بالمحاكاة، مما يقلل من تكرار انتهاكات قيود القيم بنسبة 98%.

لماذا طريقة محاذاة جديدة مطلوبة

المناهج الحديثة لمحاذاة وكلاء RL — أي تدريب الأنظمة للتصرف وفقاً للقيم الإنسانية — في معظم الحالات مبنية على خطوط أنابيب متعددة المراحل. أولاً، يتعلم الوكيل من الاستعراضات، ثم يتلقى ملاحظات تقييمية من البشر، ثم يمر بمرحلة ضبط دقيق منفصلة — كما هو الحال في RLHF.

تم إنشاء هذه الأنظمة في الأصل لنماذج اللغة بصيغة "قاطع السياق": يتم تقليل تسلسل الإجراءات بالكامل إلى إنشاء إجابة واحدة. بالنسبة للبيئات المتسلسلة بالكامل — الروبوتات والوكلاء الألعاب والأنظمة المستقلة — هذه البنية لا تعمل بشكل جيد. يتخذ الوكيل قرارات خطوة بخطوة، وحتى الانحراف الطفيف عن قيود القيم يتراكم على كامل سلسلة الإجراءات.

كيف يعمل FMR

يحل FMR هذه المشكلة من خلال دمج الملاحظات التقييمية مباشرة في عملية التعلم بالمحاكاة كمنظم — بدون مرحلة RLHF منفصلة أو خط أنابيب متعدد المراحل.

الخصائص الرئيسية للطريقة:

• الحياد الخوارزمي: يعمل FMR على أي خوارزمية تعلم محاكاة موجودة دون الحاجة إلى تغييرات في البنية الأساسية
• التدريب غير المتصل بمرة واحدة: العملية بأكملها محاذاة هي مرحلة واحدة، دون التبديل بين خطوط الأنابيب
• المتانة ضد نقص البيانات: تحافظ الطريقة على الكفاءة مع الاستعراضات التدريبية النادرة والضاخة
• إشارة تصحيحية وليس مكافأة إضافية: تحول الملاحظات توزيع التعلم نحو السلوك المحاذي بدلاً من إضافة وظيفة مكافأة أخرى

ما أظهرت الاختبارات في Safety Gymnasium

للتحقق من الطريقة، قام المؤلفون بتكييف منصة Safety Gymnasium — مجموعة من البيئات المحاكاة المطورة خصيصاً لتقييم السلوك الآمن للوكيل. تم اختبار FMR على عدة خوارزميات تعلم محاكاة أساسية.

أثبتت النتائج أهميتها: في النطاق الكامل للخوارزميات المختبرة، قللت الطريقة مستوى عدم الامتثال لقيود القيم إلى 98%. هذا يعني أن الوكيل ينتهك كثيراً أقل القيود البشرية المحددة — ولا يفقد الجودة في محاكاة السلوك المستهدف.

"يظل FMR قوياً في ظروف البيانات المحدودة، حتى عند التدريب على

استعراضات ضاخة نادرة ومحاذية وفقيرة بالمعلومات"، يُبلغ المؤلفون في الورقة البحثية الأولية.

مهم، تجلت التحسينات في مقياسين متنافسين: أصبح الوكيل أكثر دقة في نسخ الاستعراضات ولم ينتهك أقل كثيراً قيود القيم.

ماذا يعني هذا

FMR هي طريقة محايدة خوارزمياً وعملية لتحسين محاذاة وكلاء RL دون إعادة بناء كاملة لنظام التعلم. بالنسبة للمطورين الذين يعملون مع مهام متسلسلة حقيقية — الروبوتات والأنظمة المستقلة والمحاكاة — هذا مكون جاهز للاستخدام يمكن دمجه في كومة موجودة. إذا تم تأكيد النتائج على معايير أوسع، فقد يصبح FMR جزءاً من مجموعة الأدوات القياسية حيث تكون لأخطاء المحاذاة عواقب حقيقية.