من يفوز في معركة التعليمات: الترتيب الزمني، الدور في المحادثة، أم مجرد العلامة؟

لماذا كانت الاختبارات السابقة مضلِّلة

عندما يعمل وكيل الذكاء الاصطناعي على مهمة حقيقية، يستقبل أوامر من عدة مصادر في آنٍ واحد: من المُشغِّل عبر موجّه النظام، ومن ملف إعدادات المستودع، ومباشرة من المستخدم، ومن نتيجة أداة تم استدعاؤها، وحتى من ملاحظات محفوظة في الذاكرة من جلسة سابقة. تتعارض هذه الأوامر بشكل منتظم، ولا يمكن للوكيل تنفيذ إلا واحد منها. أراد فريق من الباحثين من معهد LNMIIT (الهند) وجامعة فيرجينيا تك فهم ما يحدد فعليًا الفائز في هذا الصراع، فاكتشفوا أن "تسلسل التعليمات" المعتمد في الصناعة (النظام أعلى من المستخدم، والمستخدم أعلى من الأداة) يعمل بشكل أقل موثوقية بكثير من مجرد ترتيب السطور في النص.

تتمثل المشكلة في أن مصدر الأمر يغيّر ثلاثة أمور في الوقت نفسه: الموضع في النص (أبكر أو أتأخر)، والدور في المحادثة (نظامي، مستخدم)، والعلامة (كيفية توقيع النص). فإذا تجاهل النموذج موجّه النظام، لا يمكن معرفة السبب: هل وصل باكرًا جدًا، أم متأخرًا جدًا، أم كان موقَّعًا بشكل مختلف فقط؟ كانت معظم الاختبارات السابقة تقارن زوجًا واحدًا من التعليمات فقط في كل مرة وتضعهما في رسالة واحدة، وهذا لا يعكس العمل الحقيقي للوكيل، حيث تنشأ التعارضات بين رسائل متعددة وأكثر من مصدرين.

ولفصل هذه العوامل الثلاثة، أنشأ الباحثون 1080 سيناريو موزعة على خمسة أنواع من المهام (استدعاء أداة، كتابة ملف، ترتيب الخطوات، اختيار صيغة الرد، ورفض التنفيذ)، تحتوي كل منها على ما يصل إلى خمس إجابات متعارضة فيما بينها. وُضعت التعليمات في خمسة "مواقع": المُشغِّل وإعدادات المستودع (كلاهما في الرسالة النظامية لكن بتوقيعين مختلفين)، والمستخدم، ونتيجة الأداة، وملاحظة من الذاكرة. وغيّرت سبع تجارب منفصلة فقط طريقة تقديم النص دون التأثير على محتوى التعليمات نفسها.

ما كشفته التجربة العملية

جرى اختبار 14 نموذجًا مفتوحًا (Qwen 3 من 0.6 إلى 14 مليار معامل، وQwen 3.5 من 0.8 إلى 122 مليار، وgpt-oss)، مع تفعيل وضع التفكير وتعطيله - أي ما مجموعه 26 توليفة من النموذج والوضع. جُمعت ما يقارب 1.9 مليون استجابة، قيَّمها كود برمجي وفق معايير واضحة، دون الاستعانة بذكاء اصطناعي كحكم.

ثلاث نتائج أساسية:

• الترتيب داخل الرسالة الواحدة يحدد كل شيء تقريبًا. إذا وُجد سطران متعارضان في رسالة واحدة، يفوز السطر الأول في 72-95% من الاستجابات المحسومة. وبمجرد توزيع السطرين على رسائل مختلفة، تنخفض ميزة السطر الأول إلى 23-63%، وفي 16 من أصل 26 توليفة نموذج-وضع، تفوز الرسالة الأحدث في أغلب الأحيان.
• عائلات النماذج تتصرف بشكل معكوس. في Qwen 3 وQwen 3.5، يخسر سطر المُشغِّل المُرسَل أولًا في الرسالة النظامية أمام نص لاحق - سواء من المستخدم أو من أداة أو من الذاكرة - في معظم الحالات تقريبًا، فلا تتجاوز نسبة فوزه 6-41%. أما gpt-oss، المُدرَّب على ترتيب النظام أعلى من المستخدم، فيلتزم بالرسالة النظامية في 63-76% من الحالات، حتى عندما تُرسَل قبل الرسائل الأخرى.
• في مهام الأدوات والملفات، العلامة أهم من الدور. النص نفسه الصادر عن المُشغِّل، عند إرساله كرسالة نظامية حقيقية، يفوز بنسبة أقل من النص نفسه عند توقيعه فقط كرسالة من المستخدم - بفارق يتراوح بين 6% و49% عبر جميع التوليفات الـ26. والسبب المحتمل: في صيغ المحادثة الثلاث المُختبَرة جميعها، تُكتَب تعريفات الأدوات المتاحة مباشرة في الرسالة النظامية/رسالة المطوّر، حيث يغرق أمر المُشغِّل "وسط الحشد" من التفاصيل التقنية، في حين يبرز النص الموقَّع من المستخدم بشكل منفصل وأكثر وضوحًا.

كما تحقق الباحثون من إمكانية التنبؤ بنتيجة تعارض بين ثلاث إلى خمس تعليمات بالاعتماد فقط على نتائج المقارنات الثنائية، فتبيّن أن التنبؤ يتحسن بشكل ملحوظ إذا عرف النموذج موضع المهمة نفسها بدقة في التسلسل، لكن هذا يبقى غير مستقر حتى في هذه الحالة: في Qwen 3، لم يساعد هذا النهج إلا في 3 من أصل 10 توليفات. وفي أغلب الأحيان (بحد أقصى 2.92% من الحالات) لم يُشر النموذج أصلًا إلى ملاحظته وجود تعارض بين التعليمات.

ما يعنيه ذلك لمطوّري الوكلاء

إذا كنت تبني وكيلًا وتعتمد على أن موجّه النظام سيتفوّق تلقائيًا على رد لاحق من المستخدم، فهذا الرجاء قد لا يتحقق بالنسبة لنماذج Qwen: ترتيب الرسائل يتفوّق على الرتبة المُعلَنة. وفي مهام استدعاء الأدوات، يستحق الأمر فحصًا منفصلًا لمعرفة ما إذا كانت تعليمة مهمة من المُشغِّل "تغرق" وسط تعريفات الأدوات في الرسالة النظامية - فقد يكون وضعها كنص موقَّع بشكل صريح أكثر موثوقية من الاعتماد على الدور في المحادثة. والأهم: يجب اختبار تسلسل التعليمات ليس فقط بالزوج، بل مباشرة بثلاثة وخمسة مصادر متعارضة حقيقية - فسلوك النموذج في الحالة المعقدة لا يُستَنتَج مباشرة من اختبارات ثنائية بسيطة.