ReplayRCA: تعديل الخطوة الأخيرة يخصم من نموذج قوي 17,1 نقطة من الإصلاح السببي

عندما يفشل وكيل قائم على نموذج لغوي في مهمة متعددة الخطوات، يُوكَل تحليل الأسباب إلى نموذج آخر بصورة متزايدة. يقترح مؤلفو معيار ReplayRCA التحقق من هذا التشخيص بنتائجه، لا بمطابقته مع توسيم بشري. تُعاد البيئة إلى حالتها قبل الخطوة المختارة، ويُستبدل إجراء الوكيل بالإجراء الذي اقترحه المشخِّص، ثم يواصل الوكيل نفسه العمل بمفرده. المقياس الرئيسي هو الإصلاح السببي: نسبة المتابعات الناجحة بعد التعديل مطروحًا منها نسبة المتابعات الناجحة في تشغيل ضابط يُعاد فيه الإجراء الأصلي للوكيل (دواء وهمي مقترن). وبهذه النقاط نفسها يُقاس النتيجة الأهم: إذا أُجبر نموذج قوي على التدخل في الخطوة الأخيرة فقط، فإنه يفقد 17,1 نقطة من الإصلاح السببي.

كيف نفصل التشخيص عن الحظ

يلزم الدواء الوهمي لكي لا يُحتسب للمشخِّص ما كان الوكيل سينجزه في محاولة ثانية على أي حال. فيُخصم من التقييم احتمال أن يتعافى الوكيل بنفسه، وأثر إعادة التشغيل، وضجيج أخذ العينات. ولا يشارك في الحساب نموذج حَكَم ولا مُوسِّمون: المرجع الوحيد هو الإعادة نفسها.

ولهذا النهج سبب. فمعايير إسناد الفشل القائمة تقارن الإجابة بوسم، والوسم محل خلاف: «الخطوة الحاسمة» هي تقدير المُوسِّم، وأي نقطة إصلاح أخرى بالنجاح نفسه تُعدّ خطأ. وإضافة إلى ذلك، بحسب دراسة Naagarajan وStreif (2026)، تصح الإجابة «الخطوة الأخيرة دائمًا» في 67–96% من الحالات على المجموعات القائمة، ولا تنخفض إلى مستوى قريب من العشوائي إلا على حالات الفشل التي تؤكد الإعادة خطوتها الحاسمة.

تؤخذ المهام من OpsWorld، وهي بيئة مكتب خلفي حتمية تُولَّد إجرائيًا، وتضم 15 أداة وثلاث عائلات من المهام وستة مستويات صعوبة. المستوى الأخير متعدد الوسائط: رموز QR وصور نماذج ونصوص مكتوبة بخط اليد. وتُنشأ النسخ من بذرة (seed)، ولذلك يمكن توليد مهام جديدة من جديد، مما يحدّ من حفظ المهام المنشورة، كما يجري التحقق من كل استعادة للحالة.

ماذا أظهرت 13 نموذجًا

على 62 حالة فشل نظامي معايَرة، جاءت أفضل نتيجة لـ Grok 4.7. غير أن أيًّا من الفروق الزوجية البالغ عددها 78 لا يصمد أمام تصحيح المقارنات المتعددة، ولذلك لا يمكن اعتبار الترتيب الملاحَظ تراتبية موثوقة. أما النموذجان الرائدان لأكبر مطوّرَين، GPT-6 Astra وClaude Fable 5.1، فجاءا في المركزين الثامن والثاني عشر. ويشير المؤلفون إلى أن نماذج Claude شُغّلت دون المستوى الأقصى من الاستدلال، وأن تجربة الاستئصال (ablation) تُظهر أن ذلك يكلّف Claude Haiku 5.5 ما مقداره 15,2 نقطة. ولم ينجح أي نموذج في إصلاح خمس مهام.

أما الحيلة البنيوية «الخطوة الأخيرة دائمًا» التي تهيمن على المعايير القائمة على التوسيم، فلا تنتقل إلى هنا: التدخل الإجباري في الخطوة الأخيرة يكلّف النموذج القوي النقاط الـ17,1 المذكورة.

تفسير الفشل ومنعه مهارتان مختلفتان

المسار الثاني هو الإشراف المباشر. يتابع المشرف التشغيل أثناء تطوره، ويمكنه أن يتدخل مرة واحدة قبل إجراء لا رجعة فيه، دون أن يعرف إن كان التشغيل سيفشل. وأُضيفت إلى العينة تشغيلات ناجحة أيضًا لقياس الإنذارات الكاذبة. وهذا صياغة لمسألة الإشراف والرقابة القابلين للتوسع على الذكاء الاصطناعي، لكنها مطبّقة على الأخطاء غير المقصودة لا على وكلاء معادين، وتُقيَّم بالنتائج.

على 87 تشغيلًا، لا يمكن التمييز إحصائيًا بين أفضل مشرفَين، وأحدهما نموذج مفتوح صغير هو DeepSeek V4.1 Flash. يُعد GPT-6.1 Sol من بين أفضل المشخِّصين بعد وقوع الفشل، لكنه جاء الأضعف مشرفًا مباشرًا. وعنده أكبر فجوة بين «التفسير» و«المنع» على التشغيلات نفسها. ويخلص المؤلفون إلى أن جودة التحليل بعد الفشل قد تكون مؤشرًا ضعيفًا على جودة الرقابة في الوقت الفعلي.

القيود والجِدّة

الإعادة المضادة للواقع ليست جديدة في ذاتها: فقد استخدمتها CausalFlow وREFLECT وSymTrace وأعمال أخرى، لكن بوصفها وسيلة للتحقق من قرارات النموذج نفسه. أما في ReplayRCA فالإعادة هي قاعدة التقييم لأي نموذج مشخِّص، وتُحسب كل درجة نسبةً إلى الدواء الوهمي عند الخطوة نفسها، وتُستخدم حالات الفشل ذاتها للتحليل اللاحق وللإشراف المباشر معًا.

وتبقى النسخ المنشورة وبنية المولِّد «قابلة للحفظ». ويناقش المؤلفون إمكانية إعادة توليد المجموعة مع نمو قدرات الوكلاء، لكنهم لم يتمكنوا من اختبارها بعد. ويقدّم المؤلفون ReplayRCA بوصفه بروتوكولًا قابلًا لإعادة الاستخدام، لا ترتيبًا للنماذج: فالبيئة وشيفرة التقييم منشورتان على GitHub. والخلاصة العملية للفرق التي تبني الإشراف على الوكلاء: اختيار المشرف بحسب جودة التحليل بعد الفشل محفوف بالمخاطر، والأجدر اختباره على تشغيلات حية تجمع بين التشغيلات الناجحة والفاشلة.