طريقة PoS تكشف وقوع وكلاء الذكاء الاصطناعي في حلقة المعتقدات الخاطئة: 36 تكرارًا في ALFWorld

تبدو المهمة بسيطة كأنها لعبة أطفال: أخذ كوب، وتسخينه، ووضعه في الخزانة. لكن أحد الوكلاء في محاكي ALFWorld فشل فيها. وضع الكوب في الميكروويف، ثم نقله إلى الخزانة، وبعدها ظل يتفقد الخزانة 36 مرة متتالية حتى استنفد ميزانية الإجراءات. بقيت المهمة غير منجزة لأن الوكيل تخطّى التسخين. استخدم باحثون صينيون هذه الحادثة لتوضيح ظاهرة Belief Trapping، ونشر موقع Jiqizhixin تقريرًا عن طريقة PoS التي يُفترض أن تتعرف على مثل هذه الحالات وتكسرها.

كيف تبدو فخ المعتقدات

النقطة الأهم في هذا المثال أن الوكيل لم يتعطل ولم يتجمد. إنه يتصرف، وبلا توقف. كل خطوة مقبولة من الناحية الشكلية، والبيئة لا تُرجع أي أخطاء، ومن الخارج يبدو الأمر عملًا فعليًا. لكن لا يوجد تقدم، لأن تصوّر الوكيل الداخلي عن حالة المهمة يختلف عن الواقع. فهو يعتقد أنه أنجز كل ما يلزم، فيتحقق من النتيجة بدل أن يبحث عمّا فاته.

ومن هنا جاءت التسمية. يمكن ترجمة Belief Trapping بعبارة «فخ المعتقد»: تترسخ فرضية خاطئة عن سير المهمة، ثم تتوقف عملية مراجعتها. وكلما طال بقاء الوكيل في الحلقة، زادت في سياقه السجلات التي تؤكد الصورة نفسها. وتُظهر 36 مرة تكرارًا في حلقة واحدة أن الوكيل لا يخرج من هذه الحالة بنفسه.

لماذا لا يساعد السجل الكامل

المثال المذكور في المقال يخص وكيلًا يستخدم سجل التفاعل الكامل، أي نهج Raw Trajectory. يبدو بديهيًا أن زيادة السياق تعني نتيجة أفضل: فالنموذج يرى كل أفعاله وردود البيئة. لكن حالة الكوب تُظهر العكس. فالسجل الخام الطويل لا يضمن أن يعود النموذج إلى الشرط الأصلي ويلاحظ الخطوة التي لم تُنفَّذ أصلًا. وقد يكتفي بترسيخ مسار السلوك الخاطئ.

هذا استنتاجي من المثال المعروض، وليس اقتباسًا من الورقة البحثية. لكنه يتسق مع ملاحظة مفادها أن الخطأ هنا لا يمكن إصلاحه بإضافة توكنات. المطلوب آلية تنظر إلى المسار من الخارج وتميّز بين الحركة والتقدم.

ماذا نعرف عن PoS

لا يكشف الجزء المتاح من المادة سوى الفكرة العامة: تهدف PoS إلى تحديد Belief Trapping وإخراج الوكيل منه. أما كيف صُممت الطريقة بالضبط، وعلى أي نماذج ومعايير قياس اختُبرت، وما المكسب الذي حققته، فلا يظهر من النص. وسيتعين الرجوع إلى الورقة نفسها للاطلاع على هذه البيانات. ومن السابق لأوانه تقييم الأرقام.

ما يمكن تثبيته الآن:

• البيئة: ALFWorld، محاكي نصي للمهام المنزلية للوكلاء؛
• المهمة: تسخين كوب ووضعه في الخزانة؛
• الخلل: تخطي خطوة التسخين، وكرر الوكيل فحص الخزانة 36 مرة؛
• النتيجة: نفدت ميزانية الإجراءات ولم تُحل المهمة؛
• النهج الأساسي في المثال: Raw Trajectory، أي سجل التفاعل الكامل؛
• الحل المقترح: طريقة PoS لاكتشاف الفخ وكسره.

ماذا يفعل مطورو الوكلاء بهذه الحالة

حتى من دون تفاصيل PoS، تنتج عن هذه الحالة دروس عملية. ينبغي لمطوري الوكلاء المبنيين على LLM أن يفحصوا أنظمتهم بحثًا عن خلل مماثل.

أولًا: عدّوا التكرارات. تكرار الإجراء نفسه بالنتيجة نفسها أكثر من مرتين أو ثلاث مرات متتالية يدل في الغالب على الدخول في حلقة مفرغة، لا على الاجتهاد. وكاشف الحلقات البسيط أقل كلفة من ميزانية إجراءات تُهدر بلا فائدة.

ثانيًا: افصلوا بين «نفّذتُ» و«حققتُ الهدف». قبل الإنهاء أو بعد سلسلة من الخطوات غير المجدية، من المفيد إلزام الوكيل بمطابقة عمله مع الشرط الأصلي من جديد وتعداد الأهداف الفرعية. وفي حالة الكوب كانت هذه المراجعة ستكشف التسخين الذي فاته.

ثالثًا: لا تعدّوا السياق الطويل علاجًا. إذا كان الوكيل يعتمد على السجل الكامل، فقيّموا ما إذا كان هذا السجل يعزز أخطاءه هو.

رابعًا: أدرجوا في الاختبارات مهامَّ ذات تبعيات متعددة الخطوات، حيث يهم ترتيب الخطوات واكتمالها. فهناك تحديدًا تظهر هذه الفخاخ. وعندما تتوفر تفاصيل الورقة، قارنوا PoS بهذه الضمانات البسيطة. فالقيمة الحقيقية للطريقة تتحدد بمدى تفوقها عليها.