Memory Merge DQN: دمج أوزان الشبكة الهدف بدلًا من الاستبدال الصارم في DQN

نشر باحثون في يوليو 2026 على arXiv طريقة Memory Merge DQN، وهي أسلوب جديد لتحديث الشبكة الهدف (target network) في Deep Q-Networks. وفي ألعاب Atari، احتلت هذه الطريقة المركز الأول في جودة التدريب النهائية أكثر من أي طريقة منافسة أخرى.

ما المشكلة في DQN القياسي؟

يحدّث DQN القياسي الشبكة الهدف عبر «نسخة صارمة»: إذ تُستبدل معاملات الشبكة الهدف دفعة واحدة بأحدث أوزان الشبكة الأونلاين (online network). ويحقق ذلك استقرار التدريب على المدى القصير، لكن كل استبدال من هذا النوع، بحسب ما ورد في الورقة البحثية (preprint)، يغيّر هدف التمهيد (bootstrap target) تغييرًا حادًّا ويمحو التاريخ القريب للمعاملات. ونتيجة لذلك تضيع بنية دالة القيمة التي كانت ستفيد لاحقًا على أفق التدريب الطويل.

كيف تعمل Memory Merge DQN

تحتفظ Memory Merge DQN بذاكرة قصيرة من النسخ الحديثة للشبكة الأونلاين، وتبني الشبكة الهدف لا بنسخ أحدث الأوزان، بل بدمجها بحسب أهميتها لسلوك دالة Q الحالي. وتحصل المعاملات التي تبقى مهمة محليًّا للقيم Q الحالية على وزن أكبر، بينما يُبقي الأفضلية للحداثة (recency prior) النتيجة قريبة من أحدث الأوزان.

• الآلية — تحديث الشبكة الهدف عبر دمج الأوزان، لا عبر النسخة الصارمة
• إشارة الأهمية — حساسية القيم Q (Q-value sensitivity)، وليس معلومات فيشر (Fisher information)
• مستوحاة من طريقة Fisher Weight Model Merging
• تحتفظ بذاكرة قصيرة للنسخ الحديثة من الشبكة الأونلاين
• تُبقي الأفضلية للحداثة (recency prior) الشبكة الهدف المدمجة قريبة من المعاملات الحالية

ماذا أظهرت اختبارات Atari

في ألعاب Atari، حققت Memory Merge DQN أكبر عدد من المراكز الأولى في الجودة النهائية بين جميع الطرق المختبَرة. وقورنت بأربعة أساليب: DQN العادي، وAveraged DQN، وDQN مع التطبيع الطبقي (layer normalization)، وPQN مع قصّ التدرجات (gradient clipping). ويصف المؤلفون الطريقة بأنها «شديدة التنافسية»: فقد تفوقت على DQN وAveraged DQN وPQN مع gradient clipping، وحققت تحسنًا ملحوظًا في عدة ألعاب يكتسي فيها الحفاظ على الأوزان المفيدة لدالة القيمة أهمية خاصة.

«يمكن للدمج الانتقائي للأوزان الحديثة وتاريخ المعاملات أن يحسّن

استقرار وكلاء DQN وجودتهم النهائية»، بحسب ما ورد في خلاصات الورقة البحثية على arXiv.

لماذا يهم ذلك؟

يتبيّن أن تصميم تحديث الشبكة الهدف بحد ذاته رافعة للجودة، وليس تفصيلًا تقنيًّا. ويبيّن المؤلفون أن التعامل بعناية مع تاريخ المعاملات — بدلًا من إعادة ضبطه بالكامل عند كل نسخة صارمة — يحفظ بنية مفيدة لدالة القيمة على أفق التدريب الطويل. وهذا ينقل التركيز من البنية المعمارية ودالة الخسارة إلى الكيفية التي ترتبط بها الشبكتان الأونلاين والهدف بين التحديثات.

ماذا يعني ذلك

Memory Merge DQN ليست بنية معمارية جديدة ولا دالة خسارة (loss) جديدة، بل طريقة مختلفة لنقل الأوزان إلى الشبكة الهدف. ويوحي العمل بأن جزءًا من المكاسب «المجانية» في التعلم المعزز (reinforcement learning) يكمن في آلية تحديث الأهداف، لا في حجم الشبكة أو حجم البيانات فحسب.

الأسئلة الشائعة

بمَ تختلف Memory Merge DQN عن Averaged DQN؟

يحسب Averaged DQN متوسط الشبكات الهدف الحديثة بالتساوي، أما Memory Merge DQN فتوزّن الأوزان بحسب أهميتها لدالة Q الحالية (Q-value sensitivity) وتضيف أفضلية الحداثة (recency prior). وفي المقارنة المباشرة على Atari، تفوقت Memory Merge DQN على Averaged DQN.

على ماذا اختُبرت الطريقة؟

قُيّمت الطريقة في بيئات Atari مقابل أربعة أساليب مرجعية: DQN، وAveraged DQN، وDQN مع layer normalization، وPQN مع gradient clipping. ومن حيث الجودة النهائية، احتلت Memory Merge DQN المركز الأول في أكبر عدد من الألعاب.