ToM2Vec يعلّم وكلاء LLM نمذجة الشريك عبر رموز كامنة

اقترح باحثون ToM2Vec: طريقة تعلّم وكلاء LLM تكوين نظرية العقل (theory of mind، ToM) للشريك لا في صورة وصف نصي، بل عبر ميزانية ثابتة من رموز الاستدلال المستمرة. اختُبر الأسلوب في خمس عائلات من البيئات: Overcooked-AI والمفاوضات متعددة الأطراف وDecrypto وHanabi وCollab Escape/Capture. وتفوّق باستمرار على النموذج الأساسي وعلى مجموعة من المنافسين المدرَّبين والمعتمدين على الـprompt. كما أظهر الباحثون على حدة أن النهج ينتقل إلى شركاء من عائلات نماذج غير مألوفة له، ومنها نموذج GPT-5.4 المغلق.

لماذا يعجز النص عن حفظ عدم اليقين

يعتمد نجاح التعاون على مدى دقة تصوّر الوكيل لما يدور في ذهن شريكه. والكلمة المفتاحية هنا هي «عدم اليقين»: فالشريك قد يكون في عدة حالات في آن واحد. قد لا يعرف مكان البطاقة المطلوبة، وقد يسعى إلى هدف آخر، وقد يخطئ ببساطة. ونظرية العقل الجيدة يجب أن تحتفظ بعدة فرضيات من هذا النوع معًا.

والفضاء النصي الذي تعيش فيه وكلاء LLM غير ملائم لذلك. فاللغة تصف بسهولة حالة واحدة: «الشريك يعتقد أن في يده خمسة أحمر». أما التعبير عن توزيع الحالات الممكنة في نص متماسك فأصعب بكثير. والنموذج يختار عادةً نسخة واحدة ويبني عليها كل التخطيط اللاحق. وإذا كانت هذه النسخة خاطئة، انحرفت سلسلة الإجراءات كلها.

التدريب على أفكار الآخرين

ينقل المؤلفون الاستدلال عن الشريك إلى فضاء كامن مستمر. يحصل الوكيل على عدد ثابت من رموز ToM، وهي ليست كلمات بل متجهات. وأثناء التدريب تُراقَب هذه الرموز بالاستناد إلى أفكار الشريك الفعلية. تتعلم الرموز تجريد هذه الأفكار والتطابق معها، أي ضغط استدلال الآخر في تمثيل مضغوط.

وعند الاختبار يولّد كل وكيل رموز ToM الخاصة به بنفسه. وتعمل هذه الرموز شرطًا لأفكاره وأفعاله: يكوّن الوكيل أولًا فرضية عن الشريك، ثم يفكّر ويتصرف في ضوئها. وبما أن ميزانية الرموز ثابتة، فإن كلفة هذه الخطوة قابلة للتوقع، ولا يتضخم السياق باستدلالات نصية طويلة عن نوايا الآخرين.

خمس بيئات وشريك مغلق واحد

مجموعة البيئات متنوعة عن قصد. فهناك تعاون خالص (Overcooked-AI وHanabi)، وهناك منافسة ودوافع مختلطة (المفاوضات متعددة الأطراف وDecrypto وCollab Escape/Capture). وفي كل هذه الإعدادات حقق ToM2Vec مكسبًا مستقرًا قياسًا بالنموذج الأساسي والنهج المنافسة.

أبرز نتائج العمل:

• الشكل الكامن للاستدلال حاسم: عند التعبير عن الاستدلال نفسه نصًا تنخفض الجودة.
• يتعمّم التدريب على عائلات نماذج الشركاء التي لم تظهر أثناء التدريب.
• من بين الشركاء غير المألوفين نموذج GPT-5.4 المغلق.
• تظهر التحسينات في السيناريوهات التعاونية والتنافسية والمختلطة.
• شملت المقارنة حلولًا أساسية مدرَّبة وأخرى تعتمد على الـprompt.

ويجيب قسم تحليلي مستقل عن سؤال: هل تُرمّز الرموز فعلًا نظرية العقل، أم أنها مجرد تلميحات خاصة بلعبة بعينها؟ تحقق المؤلفون من ذلك مباشرة: مع رموز ToM2Vec يجيب الوكيل بصورة أفضل عن الأسئلة المتعلقة بمعتقدات الشريك ورغباته وأفعاله التالية. وهذه حجة لصالح أن الرموز تحمل نموذجًا للوكيل الآخر، لا خصائص المهمة نفسها.

ما الذي ينبغي تغييره في معمارية أنظمة الوكلاء

بالنسبة إلى من يبنون أنظمة متعددة الوكلاء، يقدّم العمل عدة مؤشرات عملية. أولًا، قد يكون «التفكير الصريح في الشريك» نصًا حلقة ضعيفة: فإذا كان يكسر الصورة الاحتمالية، فمن المجدي تجربة قناة كامنة بميزانية محدودة. ثانيًا، الإشراف بأفكار الشريك، لا بنتائج اللعبة وحدها، يمنح إشارة تدريب أغنى للذكاء الاجتماعي لدى الوكيل. ثالثًا، يدل الانتقال إلى GPT-5.4 على أنه يمكن تدريب الوكيل على نماذج معينة ثم وضعه إلى جانب نماذج أخرى، بما فيها المغلقة، دون إعادة تدريب لكل شريك.

والقيود واضحة أيضًا. فالرموز الكامنة أصعب قراءةً وتنقيحًا من سلسلة الاستدلال النصية. وفي المنتجات التي تهم فيها قابلية تدقيق قرارات الوكيل، سيتعيّن البحث عن توازن بين الدقة والشفافية. في المقابل، يبدو النهج مرشحًا عمليًا للمهام التي تتقدم فيها سرعة التنسيق وجودته على قابلية التفسير (بوتات الألعاب ووكلاء التفاوض والروبوتات في مساحة عمل مشتركة). أما السؤال التالي فهو كيف سيتصرف النهج مع شركاء بشر، لن تدخل أفكارهم في عينة التدريب بهذه السهولة.