WhoWins: السطر الأول في الموجّه يحسم التعارضات بنسبة 72–95% من الحالات

يتلقى الوكيل في العمل الفعلي أوامره من خمسة مصادر في آن واحد: المشغّل، وإعدادات المستودع، والمستخدم، ونتائج الأدوات، والذاكرة المحفوظة. وكثيرًا ما تتناقض هذه المصادر فيما بينها. وقد بنى باحثون بقيادة Anish Laddha معيار WhoWins من 1 080 سيناريو، واختبروا به 14 نموذجًا مفتوحًا. وكانت النتيجة، عبر 1 887 356 إجابة جرى تقييمها، أن حسم التعارض يتأثر بقوة بموضع السطر في الموجّه، ويتأثر بدرجة أضعف بوضوح بهوية مُرسِله.

لماذا تصل معايير تسلسل التعليمات القديمة إلى طريق مسدود

تطرح اختبارات instruction hierarchy الحالية سؤالًا واحدًا: هل يفوز المصدر الأعلى رتبة؟ ويشير مؤلفو WhoWins إلى مشكلة منهجية في ذلك. فالمصدر الواحد يحدد ثلاثة أمور في آن واحد: موضع النص في السياق، ودور الرسالة، والوسم الذي وصلت به. وإذا فاز موجّه system فلا يتضح السبب. قد يكون بسبب مكانته، وقد يكون ببساطة لأنه جاء أولًا.

لذلك يفصل WhoWins بين هذه العوامل. يضم المعيار خمسة أنواع من المهام، وفي كل سيناريو حتى خمس تعليمات متعارضة لا يمكن الجمع بينها، ويُقيَّم الناتج بالكود لا بنموذج LLM يؤدي دور الحَكَم. وتغيّر سبع تجارب مضبوطة طريقة تسليم التعليمات فقط. واختُبر 14 نموذجًا بأوزان مفتوحة، من 0,6B إلى 122B معلمة، في وضعي التفكير (thinking) المفعّل والمعطّل. وأعاد المؤلفون التحقق من النتائج الرئيسية على سيناريوهات محجوزة.

السطر الأول يفوز، لكن دور system لا يضمن الغلبة

داخل الرسالة الواحدة، يفوز أول سطرين متعارضين في 72,42–94,66% من الحالات، بحسب النموذج والوضع. وبين الرسائل يضعف الأثر: إذ تصمد التعليمة المبكرة في 22,95–62,65% من الحالات.

وأكثر النتائج إزعاجًا للمطبّقين تخص مستوى النظام. فالسياسة المرسلة أولًا ضمن رسالة system أو developer تخسر معظم التعارضات أمام السطور اللاحقة في جميع نماذج عائلة Qwen. أما في gpt-oss فالصورة معكوسة: إذ تفوز السياسة هناك في معظم التعارضات إذا كان النموذج ينفّذ إجراءً. وفي مهام الأدوات وكتابة الملفات، يفوز النص نفسه، إذا وُضع أولًا في رسالة موسومة بـ user، أكثر مما يفوز في رسالة system. وتتكرر هذه الملاحظة في كل توليفة من نموذج ووضع.

بعبارة أخرى، لا يتحول وسم «system» إلى أولوية موثوقة. ويتوقف الكثير على طريقة تدريب النموذج المعيّن على التعامل مع الأدوار، وعلى سلوكه حين يُطلب منه تنفيذ إجراء لا الاكتفاء بالرد.

التعارضات تمر دون أن تُلاحَظ

تحقق المؤلفون أيضًا من مسألة أخرى: هل يتحدث النموذج صراحةً عن التناقض؟ ووفق القوالب المفتاحية التي اعتمدوها، لا تشير إلى التعارض أو تخفف صياغتها سوى نسبة لا تتجاوز 2,92% من الإجابات المحسومة على التعارضات الثنائية. فالوكيل يختار إحدى التعليمات ويتصرف على أساسها، ولا يعرف المستخدم ولا المشغّل بذلك.

ويتناول جزء مستقل من العمل مسألة التنبؤ. هل يمكن، انطلاقًا من نتائج التعارضات الثنائية، التنبؤ بالسلوك في السيناريوهات المعقدة ذات التعليمات المتعددة؟ تتحسن التنبؤات في كل توليفة من نموذج ووضع حين يُعرف موضع السطر الذي يحمل المهمة نفسها في السياق.

ما الذي يتضمنه العمل

• معيار WhoWins: 1 080 سيناريو يُقيَّم بالكود.
• خمسة أنواع من المهام، وحتى خمس تعليمات متعارضة في السيناريو.
• سبع تجارب مضبوطة تغيّر طريقة تسليم التعليمات فقط.
• 14 نموذج open-weight من 0,6B إلى 122B، في وضعي thinking off وon.
• 1 887 356 إجابة جرى تقييمها، والتحقق من النتائج على سيناريوهات محجوزة.
• رسالة واحدة: أول سطرين متعارضين يفوز في 72,42–94,66% من الحالات.
• رسائل مختلفة: التعليمة المبكرة تصمد في 22,95–62,65% من الحالات.
• لا تشير صراحةً إلى التعارض أو تخفف صياغته أكثر من 2,92% من الإجابات الثنائية المحسومة.
• حجم الورقة: 55 صفحة، و8 رسوم، و24 جدولًا.

ما الذي ينبغي تغييره في الأنظمة الوكيلية الآن

أولًا: عدم الاعتماد على وسم system بوصفه حماية للقواعد الحرجة. فإذا كان لا بد أن تصمد سياسة الأمان أمام تعليمات المستخدم المتأخرة أو نتائج الأدوات، فينبغي التحقق منها باختبارات على النموذج المحدد، لأن سلوك Qwen وgpt-oss يختلف. ثانيًا: يجب اعتبار ترتيب السطور في الموجّه جزءًا من البنية المعمارية، لا من التنسيق الشكلي. ثالثًا: في المهام التي تتضمن استدعاء أدوات وكتابة ملفات، ينبغي فحص الأولويات بمعزل عن سيناريوهات المحادثة، لأن سياسة النظام تفوز هناك بدرجة أقل.

وأخيرًا، تلزم مراقبة التعارضات الصامتة. فإذا كان الوكيل لا يكاد ينبّه إلى التناقض أبدًا، فسيتعين اكتشافه من السجلات والاختبارات. والكود والبيانات متاحان عبر pip install whowins، ما يتيح اختبار النماذج الخاصة بالبروتوكول نفسه.