باحثون يجرون 120 إعدادًا من CPT لوكلاء الألعاب: من 0,8B إلى 27B

طرح فريق الباحثين سؤالًا مباشرًا: إذا وسّعنا نطاق البيانات والتنوع وحجم النموذج، فهل سيتحسن أداء الوكلاء في عوالم افتراضية لا تكاد تربط بينها صلة؟ في العالم الفيزيائي تخضع كل التجارب لقوانين واحدة، فيأتي التعميم هناك بصورة طبيعية. أما في الألعاب فلكل عالم أسلوبه البصري وديناميكياته وطريقة التحكم فيه وأهدافه. بحث المؤلفون عن الجواب عبر 120 إعدادًا من continued pre-training (CPT): أربعة أحجام للنموذج من 0,8B إلى 27B، وست ميزانيات بيانات من 50 إلى 1 600 ساعة، وخمس تركيبات للمجموعة التدريبية، من Minecraft وحده إلى مجموعة من عوالم مختلفة.

ثلاثة محاور وثلاثة مستويات للتحقق

تصميم التجربة أهم من أي رقم منفرد. غيّر المؤلفون ثلاثة عوامل بصورة مستقلة: حجم البيانات، والتنوع، وحجم النموذج. وقاسوا الجودة على ثلاثة مستويات من خسارة التحقق (validation loss) وعلى بنشماركات الألعاب. بدأوا بعوالم من المجموعة التدريبية نفسها، ثم العوالم المرتبطة بها، ثم عوالم لم يرها النموذج إطلاقًا. بهذه الطريقة يتضح أين ينتهي انتقال المهارات تحديدًا.

أبرز مقاييس الدراسة ومعاملاتها:

• 120 إعدادًا للتدريب؛
• أحجام النماذج: من 0,8B إلى 27B معامل؛
• ميزانيات البيانات: من 50 إلى 1 600 ساعة؛
• خمس تركيبات: من Minecraft وحده إلى مجموعات متعددة العوالم غير متجانسة؛
• التقييم بالخسارة وببنشماركات اللعب في ثلاث مناطق: العوالم المألوفة والمرتبطة وغير المألوفة.

ماذا يضيف كل محور

جاءت الصورة غير متساوية. زيادة البيانات تحسّن النتيجة داخل المجموعة التدريبية، وهذا متوقع. أما التنوع فيساعد على الانتقال إلى العوالم المرتبطة، لكن المكسب يبقى صغيرًا في الألعاب البعيدة. ويرفع حجم النموذج كفاءة استخدام البيانات: فالنموذج الكبير يستخلص الفائدة بسرعة أكبر من عدد الساعات نفسه من اللعب. لكن إذا تدرّب على عالم واحد، فإن تعميمه على العوالم البعيدة يكون أضعف. فالنموذج الكبير الذي يتدرب بصورة ضيقة يتكيّف بعمق أكبر مع عالمه.

هذه ملاحظة عملية. فالتوسع دون تنوع قد يعزز التخصص بدل الشمولية. وبالنسبة إلى الفرق التي تبني مجموعات بيانات للوكلاء، فهذه حجة لاحتساب الميزانية لا بعدد الساعات فقط، بل بعدد العوالم المختلفة أيضًا.

مرحلتان في التدريب

أكثر ما يلفت في الورقة هو ديناميكية التدريب. يميّز المؤلفون مرحلة «الواجهة» المبكرة، حين تنتشر الفائدة على نطاق واسع عبر العوالم المختلفة. يتعلم النموذج فيها الأساسيات: كيف يقرأ الشاشة، وكيف ترتبط الملاحظات بالأفعال، وكيف يعمل التحكم. ثم تأتي مرحلة «العالم»، وفيها تضيق المكاسب لتقتصر على عوالم المجموعة التدريبية والعوالم المرتبطة بها. يبدأ النموذج بحفظ بنية عوالم بعينها، ولا ينتقل ذلك تقريبًا إلى العوالم البعيدة.

وعلى هذا الأساس صاغ المؤلفون قانونًا تجريبيًا للتوسع. يربط القانون خسارة التحقق بحجم البيانات والتنوع وحجم النموذج. ويتيح ذلك تقدير الأثر قبل إطلاق تدريب مكلف. لكن القانون يصف الخسارة لا النجاح في اللعبة، وتبقى الفجوة بينهما مشكلة قائمة بذاتها.

المقارنة بالمتخصصين وحدود المحاكاة

وفق البنشماركات النهائية، تنافس النماذج المتخصصين في Minecraft ونماذج frontier في العوالم ثلاثية الأبعاد. وتظهر أفضل أداء لها في الوقت الفعلي. فسرعة الاستجابة هي المهمة هنا، والنموذج الصغير المدرَّب على عروض اللعب التوضيحية لا يهدر الوقت في استدلالات طويلة.

ويذكر المؤلفون القيود بأنفسهم. فالتدريب على العروض التوضيحية يصطدم بسقف المحاكاة: يكرر النموذج ما رآه، ولا يكتشف استراتيجيات جديدة. وفي العوالم البعيدة تبقى الفجوة قائمة عند جميع المقاييس التي دُرست. والخلاصة مباشرة: الوكلاء المجسَّدون العامون يحتاجون إلى مراحل تدريب أغنى بعد CPT.

ما الذي يمكن اعتماده عمليًا

بالنسبة إلى مطوري الوكلاء، الاستنتاجات كالتالي. إذا كان الهدف لاعبًا قويًا في لعبة محددة أو في عائلة ألعاب متشابهة، فيكفي زيادة البيانات والنموذج داخل تلك العائلة. وإذا كان المطلوب انتقالًا إلى عوالم جديدة، فينبغي إدراج ألعاب غير متجانسة في المجموعة التدريبية، وعدم افتراض أن حجم النموذج وحده سيحل المشكلة. ويمكن استخدام مرحلة الواجهة المبكرة بداية رخيصة، لكن يجب بعد ذلك التحقق من الفائدة على عوالم غير مألوفة، لا بالخسارة وحدها. ولتحقيق تعميم حقيقي، تبدو الخطوة التالية هي التعلم المعزز أو مراحل أخرى بعد التدريب تتجاوز حدود المحاكاة.