مهندس ذكاء اصطناعي يكتب دالة مكافأة واحدة لفرق الوكلاء: نسبة الفوز ترتفع من 51% إلى 90%

لا يمكن تدريب فريق من الروبوتات أو وحدات اللعبة على العمل معًا إلا إذا أُخبرت في الوقت المناسب بأن ما تفعله صحيح. تُسمّى هذه التلميحات دالة المكافأة. وإذا اقتصرت المكافأة على الفوز النهائي، فإن الوكلاء بالكاد يدركون أي أفعال أدّت إليه. لذلك يضيف المهندسون يدويًا حوافز وسيطة، ثم يعيدون ضبطها من الصفر عند تغيّر الخريطة أو تركيبة الفريق. اقترح د. أورغون من جامعة كارابوك (تركيا) طريقة GARDEN التي تُسند هذا العمل إلى نموذج لغوي. وتتجاوز الطريقة الأنظمة السابقة: تُكتب المكافأة مرة واحدة لعائلة كاملة من السيناريوهات المتشابهة، وتُنقل إلى سيناريوهات جديدة دون أي تعديل.

ما الذي اختُبر وما الأرقام التي ظهرت

اختُبرت الطريقة في مكتبة JaxMARL على معيارين.

• Overcooked. يطبخ طاهيان الحساء في مطبخ ضيق: يضعان المكونات في القدر، ويُخرجان الطبق الجاهز، ويحملان الصحن. تمنح المكافأة القياسية 20 نقطة عن كل طبق، إضافة إلى مكافآت صغيرة للخطوات الوسيطة: 3 نقاط لكل مكوّن يوضع في القدر، و3 للصحن، و5 للحساء الجاهز. ويحدد موضع الطاولات كيف يقتسم الطاهيان العمل.
• SMAX. هو نسخة من معيار StarCraft Multi-Agent Challenge أُعيدت كتابتها على JAX: تقاتل مجموعة من الوحدات الحليفة أعداءً تتحكم بهم سكربتات مدمجة. تساوي المكافأة 1 إذا أُبيد الأعداء وبقيت وحدة واحدة على الأقل من وحدات الفريق على قيد الحياة. ويطابق المتوسط على مستوى الحلقات (episodes) نسبة الانتصارات. أما المكافأة الوسيطة القياسية فتُمنح عن الضرر الذي يلحق بالأعداء.

كانت أربعة سيناريوهات جديدة بالنسبة إلى المكافأة. في Overcooked هما تصميمان لتخطيط المطبخ: أحدهما بخطّ تقسيم والآخر بطاولة مركزية. وفي SMAX هما معركة ضد فريق موسَّع من المشاة البحريين، ومعركة بأنواع وحدات ومواقع بداية عشوائية. وفي هذه السيناريوهات جاءت النتيجة النهائية في Overcooked أعلى من المكافأة القياسية بنسبة 58,2% و52,5%. وارتفع متوسط نسبة الانتصارات في SMAX من 51,0% إلى 89,9%. وللمقارنة، اعتُمد نهجان بعدد المرشحين والتشغيلات التجريبية نفسه. حقق تقرير التشخيص الثابت 84,2%، وحققت المراجعة الذاتية على نمط Eureka (يعدّل فيها النموذج المكافأة بناءً على إحصاءات التدريب) نسبة 79,2%.

كيف يكتشف النموذج بنفسه ما الخطأ في المكافأة

في معظم الطرق السابقة، ومنها Eureka، صيغة التغذية الراجعة محددة سلفًا: يتلقى النموذج منحنيات تدريب مجمّعة ويعيد كتابة الشيفرة بناءً عليها. وإذا لم تظهر مشكلة التنسيق في هذه المنحنيات، فإنها تمر دون أن تُلاحَظ. أما في GARDEN فيعمل المهندس LLM كما يعمل الإنسان في الطرفية. فمن خلال صدفة أوامر محدودة، يقرأ الشيفرة المصدرية للبيئة والخوارزمية، ومنطق المكافأة القياسية، وملفات الإعداد، والمسارات، والخسائر، ونقاط الحفظ (checkpoints). وعند الحاجة يكتب سكربتات تحليل خاصة به. ولا تُعطى له قائمة جاهزة من الفحوصات.

ويختبر فرضياته بجولات تدريب تجريبية. وهي عدد محدود من تشغيلات المسودة على أحد سيناريوهات التطوير، بالخوارزمية والميزانية والبذرة العشوائية نفسها المستخدمة في التقييم النهائي. ويرفق النموذج بكل نسخة من المكافأة تقريرًا قصيرًا: ما البيانات التي اطّلع عليها، وما الآلية التي يفترضها، وأين مواطن الضعف.

تسير العملية عبر أجيال من المرشحين:

• يعمل كل مرشح في جلسة مستقلة، ولا يرى مسودات «أشقائه» في الجيل نفسه ولا تجاربهم. أما نتائج الأجيال السابقة فمتاحة له.
• بعد تثبيت النسخة، تُدرَّب وتُقيَّم على كل سيناريو من سيناريوهات التطوير.
• تختار صيغة حسابية المكافأة النهائية: متوسط التحسن عن المكافأة القياسية على سيناريوهات التطوير. وعند التعادل يُنظر إلى أسوأ سيناريو، ثم إلى متوسط النتيجة، ثم إلى المعرّف. ولا يشارك في الاختيار تفضيل النموذج ولا بيانات السيناريوهات الجديدة.
• تُجمَّد الشيفرة المختارة، ويُحتسب لها تجزئة (hash)، ثم يُدرَّب وكلاء جدد من الصفر على السيناريوهات المخفية.

لا يعرف النموذج رقم السيناريو، وعليه أن يستنتجه من هندسة الخريطة أو تركيبة الفريق. ويُسمح له بقراءة شيفرة المكافأة القياسية، لكن لا يُسمح له باستدعائها من شيفرته. والـ«ذاكرة» القابلة للتعلّم في المكافأة محدودة، وتُصفَّر في بداية كل حلقة. وتُحمى السيناريوهات المخفية بمجلدات عمل منظَّفة وسجل للإجراءات.

ما الفائدة العملية وأين حدودها

يتعلق النقل هنا بالمكافأة نفسها، لا بالسياسات المدرَّبة: إذ يُعاد تدريب الوكلاء من جديد على الخرائط الجديدة. ويؤكد المؤلفون أنهم يقيسون تعميم إشارة التعلّم. وبالنسبة إلى المهندسين، يعني ذلك توفيرًا في الجهد: فمكافأة واحدة تُكتب تلقائيًا قد تغني عن إعادة كتابتها لكل تخطيط أو تركيبة فريق. وهذا مهم بوجه خاص في الروبوتات والخدمات اللوجستية التي تتغير فيها تشكيلات الفرق.

وثمة قيود. فالتجارب تغطي عائلتين من المهام وأربعة سيناريوهات مخفية. ولا يقدّم المؤلف ضمانات للنقل: إذ يستند الاختيار إلى بيانات التطوير، ونتائج السيناريوهات المخفية غير معروفة سلفًا. ولضمان مقارنة عادلة، أُبقي التشكيل (shaping) القياسي في Overcooked ثابتًا، مع أنه يتلاشى في الإعداد المرجعي لـ JaxMARL. وسيكون على المجتمع البحثي أن يختبر الطريقة في بيئات أخرى: فالشيفرة والموجّهات والإعدادات متاحة في المستودع المفتوح DoganUrgun/GARDEN.