وكلاء GPT-4o-mini وGPT-5.2 ينتهكون القواعد بصمت في اختبارات τ²-bench

درس باحثون وكلاء ذكاء اصطناعي قائمين على نماذج لغوية كبيرة ويستخدمون الأدوات (tool-using LLM agents)، واكتشفوا أن هؤلاء الوكلاء قادرون على انتهاك السياسات التي يُفترض بهم الالتزام بها بصمت، فيما تبدو المهمة منجزة بنجاح. نُشرت الدراسة على arXiv في 7 يوليو 2026.

ما المقصود بالانتهاك الصامت للسياسة

في البيئات التي تستطيع فيها الأداة تقنيًا تنفيذ أي استدعاء مُصاغ بشكل صحيح حتى لو خالف قواعد المجال (policy-permissive environments)، تظهر «حالة خاطئة صامتة»: حجز مُلغى، أو عدد ركاب جرى تغييره، أو مطالبة عولجت دون تحقق. لا الأداة نفسها ولا تقرير الوكيل عن أفعاله يُنبّهان إلى وجود خطأ.

اختبر الفريق هذا السيناريو على مقياس τ²-bench في مجال الطيران. وتبيّن أن 78% من جميع حالات الفشل المسجّلة لدى الوكيل «الاقتصادي» كانت انتهاكات صامتة للحالة دون أي خطأ في الأداة، كما أن المعدل الإجمالي للفشل يتكرر على مجموعات مستقلة من البذور (seeds) ولا يعود إلى ضجيج العيّنة.

إلى أي حد تساعد البوابات الحتمية

اقترح المؤلفون تدخلًا خفيفًا يتمثل في فحوصات حتمية للقراءة فقط (gates) تفحص الاستدعاء المقترح والحالة الراهنة للنظام قبل السماح بالكتابة.

• رفعت مجموعة من أربع بوابات نسبة النجاح على المقياس الكامل من 29,6% إلى 42,0% على نموذج gpt-4o-mini (+12,4 نقطة مئوية؛ P=0,0012)
• تكرر التأثير على مجموعة مستقلة من 15 بذرة (+12,3 نقطة مئوية؛ P=0,0008)
• في 26 مهمة من أصل 50 تدخلت فيها البوابات فعليًا، ارتفع النجاح بمقدار +19,2 نقطة مئوية
• على النموذج الرائد gpt-5.2 بإعدادات الاستدلال الافتراضية، رفعت مجموعة البوابات نفسها النجاح من 61,2% إلى 71,6% (+10,4 نقطة مئوية؛ P=0,020، لكن على عيّنة من 5 تشغيلات فقط ودون إعادة التجربة)

ورسم اختباران ضابطان سلبيان حدود الطريقة: مجال البيع بالتجزئة (retail) المكتفي ذاتيًا، حيث تراقب الأدوات السياسة بنفسها، ومقياس BFCL. فالبوابات تفيد حيث تسمح الأدوات بانتهاك السياسة، ولا تعطي أثرًا يُذكر حيث تلتزم الأدوات بها من تلقاء نفسها.

ماذا يعني ذلك

حتى النماذج الرائدة مثل gpt-5.2 تواصل محاولة تنفيذ عمليات كتابة تنتهك السياسة؛ فالمشكلة لا تختفي مع ارتفاع جودة النموذج. ويؤكد المؤلفون أن البوابات الحتمية لا تضمن نجاح المهمة بأكملها، لكنها تسدّ بشكل موثوق فئة محددة من الانتهاكات الصامتة عند حدّ التنفيذ، أي في اللحظة التي يوشك فيها الوكيل على تغيير شيء فعلي في النظام.

أسئلة شائعة

ما هو τ²-bench؟

هو مقياس لاختبار وكلاء الذكاء الاصطناعي المزوّدين بأدوات في مجال الطيران، وقد رصد الباحثون عليه الانتهاكات الصامتة للسياسة وقاسوها.

كيف تعمل البوابات الحتمية؟

هي فحوصات للقراءة فقط تحلّل، قبل تنفيذ عملية الكتابة، استدعاء الأداة المقترح والحالة الراهنة للنظام، وتحجب الاستدعاءات التي تخالف قواعد المجال.

هل تعمل الطريقة على النماذج الرائدة؟

نعم: على gpt-5.2 بالاستدلال الافتراضي رفعت مجموعة البوابات الأربع نفسها النجاح من 61,2% إلى 71,6%، لكن المؤلفين يشيرون إلى أن هذه النتيجة جاءت من عيّنة صغيرة من 5 تشغيلات ولم تتكرر بعد.