الاضطرابات النفسية في وكلاء التعلم المعزز: دراسة جرعة-الاستجابة للقلق والهوس

طور الباحثون نظاماً لنمذجة سبع اضطرابات نفسية في وكلاء التعلم المعزز من خلال التلاعب المضبوط بمعاملات تقييم الإدراك. تم نشر العمل على أرXiv ويحتوي على نتائج أكثر من ألف عملية تشغيل مضبوطة مع تأثيرات قابلة للتكرار.

كيفية محاكاة الاضطراب في وكيل

بدلاً من الضبط اليدوي للمكافأة لكل عرض، أعاد الباحثون تصميم خوارزمية PPO (تحسين السياسة القريبة) بإضافة "إشارات تقييم إدراكية" مضبوطة. تقابل كل إشارة معاملاً في الطب النفسي الحسابي:

• سبعة اضطرابات مدرجة: القلق والهوس واضطراب الوسواس القهري والاكتئاب والاندفاعية والإدمان واضطراب ما بعد الصدمة
• الطريقة: منحنيات الجرعة والاستجابة — لكل معامل قوة (من 0 إلى 1)، وكلما زادت القيمة، زادت الأعراض وضوحاً
• التحقق: 1000+ عملية تشغيل مع 10 بذور عشوائية وأربع مجموعات تحكم وفترات ثقة بنسبة 95%

تم قياس كل عرض من خلال "التجارب المسجلة مسبقاً" — اختبارات سلوكية قياسية مقتبسة من علم النفس السريري: المتاهات والمهام المرنة والخيارات بين المخاطرة والأمان.

الاضطرابات تشكل فضاءً ثنائي الأبعاد

الاكتشاف الرئيسي: تنظمت سبعة اضطرابات ذاتياً في فضاء ثنائي الأبعاد من الاستقطاب العاطفي لم يقم أحد بدمجه في الخوارزمية. على أحد المحاور — تبين أن القلق والهوس متطرفان متعاكسان؛ على المحور الآخر — التمييز بين الاضطرابات التي تشوه إشارات المكافأة (الهوس والوسواس القهري والإدمان) والاضطرابات الموجهة نحو التجنب (القلق واضطراب ما بعد الصدمة).

من هذه الخريطة ظهرت تنبؤات غير متوقعة حول المراضة المشتركة: عندما تم تفعيل معاملين في وقت واحد، تفاعلت التأثيرات بطريقة غير إضافية، مما أنشأ ظواهر مركبة مشابهة لتلك المرصودة في الممارسة السريرية.

منطقان للعلاج

ساعد حذف المعامل (التعطيل الكامل) في الاضطرابات التي تشوه المكافأة: اختفت الهوس وتوقفت إكراهات الوسواس القهري وتلاشى الإدمان. لكن هذا النهج لم ينجح في اضطرابات التجنب (القلق واضطراب ما بعد الصدمة) — بقي الوكيل محاصراً.

بالنسبة لهذه الاضطرابات، نجحت العلاج بالتعريض التدريجي: زيادة تدريجية في تعقيد البيئة حيث يتعلم الوكيل التمييز بين الخطر الحقيقي والتنبيه الكاذب من معامل القلق. هذا يتوافق مع الممارسة السريرية: العلاج السلوكي المعرفي لاضطراب ما بعد الصدمة يقوم على إعادة عيش الصدمة المضبوطة.

الانتقال إلى بيئات أخرى

تم نقل ثلاثة معاملات (الاكتئاب والإدمان والقلق) بنجاح إلى بيئة مختلفة تماماً — عالم بكسل ثلاثي الأبعاد من MiniWorld — وإلى وكيل آخر (شبكة عصبية التفافية قياسية بدون ناقد تقييم مدمج). تم تأكيد الانفصال بين التجارب في البيئة الجديدة أيضاً، مما يشير إلى: التأثير ليس قطعة أثرية من معمارية PPO أو عوالم الشبكة.

ماذا يعني هذا

توضح الأبحاث: يمكن لوكلاء التعلم المعزز أن يظهروا سلوكيات هيكلياً مشابهة للاضطرابات النفسية، ويمكن السيطرة على هذه السلوكيات من خلال معاملات تقييم الإدراك. هذا مهم لثلاثة اتجاهات: اختبار النظريات الحسابية للطب النفسي وفهم أوضاع الفشل في أنظمة التعلم المعزز التي تتحكم في العالم المادي والبحث عن سلامة الذكاء الاصطناعي — إذا كان بإمكان الوكيل "المرض" بالقلق، فنحن بحاجة إلى طرق للتشخيص والعلاج.