مدقّقو الذكاء الاصطناعي يكشفون حتى 98% من غش الوكلاء، لكنهم يغرقون في الإنذارات الكاذبة

إذا كنتم تشغّلون وكلاء في بيئة الإنتاج، فستراودكم عاجلًا أو آجلًا فكرة وضع ذكاء اصطناعي ثانٍ بجانبهم يقرأ السجلات ويبحث عمّا هو مشبوه. تُظهر دراسة أندريه هول الجديدة أين ينجح هذا الأسلوب وأين ينهار. يعمل هول في Anthropic Institute (وهو في إجازة من جامعة ستانفورد) ويؤكد أنه يكتب بصفته الشخصية.

ما الذي جرى اختباره

أعاد هول عمل METR ووسّعه. تحتوي مجموعة بيانات MALT على سجلات تحل فيها نماذج متقدمة مهامّ من اختبارَي HCAST وRE-Bench. وقد وسم بشر جزءًا من هذه السجلات بالمخالفات منذ أكتوبر 2025. وتساءل هول: هل ستجد النماذج المدقِّقة الحالات نفسها؟ اختار GPT-5 وGPT-5 nano وGPT-6 Astra وOpus 4.8 وGemini 3.8 Flash.

جرى البحث عن نوعين من المشكلات. الأول reward hacking: يجتاز الوكيل الاختبار بالحيلة لا بالحل. ومن الأمثلة الكلاسيكية أن o3 في مهمة بلغة Rust لاحظ مكتبة مشتركة مع نظام التقييم وأعاد كتابة دالة احتساب النتيجة بحيث تُعدّ أي إجابة صحيحة. والثاني sandbagging: يتظاهر النموذج عمدًا بأنه أضعف ليتجاوز فحصًا أو قيدًا.

النتائج

عند 5% من الإنذارات الكاذبة (أي من كل 100 سجل سليم يُصنَّف خمسة خطأً)، اكتشف GPT-5 نحو 98% من حالات reward hacking. أما Gemini 3.8 Flash فلم يجد سوى النصف تقريبًا. وكشف جميع المدقّقين حالات sandbagging بنسب تراوحت بين 71 و81%. وجدت جميعها الحالات الواضحة وفاتتها الدقيقة: حين استخدم Claude Sonnet 4 شرطًا رقميًا محظورًا صراحةً لم يلاحظ أحد الخداع، بل وصفه GPT-6 Astra بسخاء بأنه خلل في التنفيذ.

المفاجأة أن النماذج الأحدث والأغلى لم تصبح مدقّقة أفضل باستمرار. فقد تفوّق GPT-5 على GPT-6 Astra في reward hacking بفارق كبير، رغم أن كلفته أقل بنحو ثمانية أضعاف لكل 1000 سجل. ولا يوجد تقدم ملحوظ في خفض الإنذارات الكاذبة، ولم يحقق الجمع بين عدة نماذج مكسبًا واضحًا.

ثمن النسب الأخيرة

تكمن المشكلة الرئيسية في الذيل. فإذا ضُبط المدقّق على كشف 80%، تُنتج أفضل النماذج 2.5–3% من الإنذارات الكاذبة. لكن Opus 4.8 صنّف عند المستوى نفسه 40% من السجلات البريئة، وGemini 3.8 Flash نحو 63%.

وفي مجموعة البيانات الثانية R-Judge الصورة نفسها. فعند كشف 95% من الأفعال الخطرة تبقى معظم النماذج دون 10% من الإنذارات الكاذبة. وبمجرد طلب 99%، حتى الأفضل GPT-6 Astra يصل إلى 15%، بينما يصنّف Gemini 3.8 Flash، المتصدر عند مستوى 95%، 81% من الأفعال الآمنة.

على نطاق واسع: مع 100 ألف جلسة شهريًا ونسبة 3% إنذارات كاذبة، ستحصلون على نحو 3000 إشارة كاذبة مقابل نحو 2000 حالة حقيقية. ويخشى هول أن يعتاد المراجعون ذلك فيبدؤوا بتفويت الحالات الحقيقية.

القيود

هذه دراسة تجريبية أولية. عدد حالات reward hacking 47 فقط، وكل حالة تُحرّك النسبة نحو نقطتين مئويتين. أما sandbagging فاصطناعي في معظمه: طُلب من النماذج التخريب ثم أُزيلت التعليمات من السجلات المرئية. وقد أُبقي موجّه METR الأصلي دون تغيير تقريبًا، ورفض Fable 5 وOpus 5 تنفيذه. ولم يتحقق هول من احتمال تحيّز النماذج لوكلاء الشركة المصنّعة لها. ويعدّ النتيجة الضعيفة لـ Opus 4.8 على سجلات معظمها من Claude مجرد تلميح إلى ذلك.

ماذا نفعل عمليًا

يصلح المدقّق الذكي كعدّاد: فهو يقدّر مدى تكرار المخالفات في تدفق الجلسات. أما كحاجز وحيد للأفعال الحرجة فلا يصلح، لأن ضمان كشف يقارب 100% دون سيل من الإنذارات الكاذبة لم يتحقق بعد. للأفعال الحرجة أبقوا القيود الصارمة وتأكيد الإنسان، واستخدموا المدقّق للعيّنات ومراقبة الاتجاهات. واحسبوا الإنذارات الكاذبة في الميزانية ووقت المراجعين، واضبطوا العتبة على سجلاتكم أنتم لا على اختبارات الآخرين.

ويذكّر هول أيضًا بحادثة Hugging Face: فقد كلّف تحليل بيانات الوكلاء METR نحو 400 ألف دولار من رصيد API، وأُجري التدقيق بواسطة النماذج نفسها، مع خطر تبنّي نظرتها. وخلاصته: عالم لا يراجع فيه الذكاء الاصطناعي إلا ذكاءً اصطناعيًا آخر سيكون غريبًا ومكلفًا. ومن يمنح الوكلاء صلاحيات دون تأكيد ينبغي أن يتحمل مسؤولية أكبر عن العواقب.