Dream2Discern يتنبأ بإخفاقات الأنظمة متعددة الوكلاء بدقة تتجاوز 90%

اقترح فريق مؤلفي Dream2Discern طريقة لتدريب مدقِّق وقت التشغيل للأنظمة متعددة الوكلاء المعتمدة على LLM دون الحاجة إلى جمع بيانات جديدة مكلف. ينظر المدقِّق إلى بادئة التنفيذ ويتنبأ بكيفية انتهاء التشغيل. وعلى معيارَي AFTraj-2K وStepShield، يحقق الأسلوب أكثر من 90% في trajectory-level weighted accuracy (الدقة الموزونة على مستوى المسار) ويتفوق على المدقِّقين المنافسين. وفي الوقت نفسه يحافظ على التوازن بين دقة التنبؤ وسرعة توقيته.

أين تكمن نقطة الضعف لدى المدقِّقين

تتعطل الأنظمة متعددة الوكلاء المعتمدة على LLM بطرق مختلفة. يدخل أحد الوكلاء في حلقة مفرغة، ويفقد آخر السياق، ويمرر ثالث بيانات خاطئة إلى زميله بثقة. ولإيقاف تشغيل كهذا في الوقت المناسب، يلزم مدقِّق: نموذج يقدّر النهاية المرجحة اعتمادًا على الخطوات المرصودة بالفعل. ويُدرَّب هذا النموذج على مجموعة من المسارات ذات النتائج المؤكدة.

هذه المجموعة محدودة دائمًا. فكل مسار جديد يتطلب تشغيلًا فعليًا للنظام، ثم التحقق من النتيجة. وهذا يعني مالًا ووقتًا وعملًا يدويًا. ويشير المؤلفون إلى مشكلة ثانية: حتى لو جُمع مزيد من حالات الفشل، فإن توسيع التغطية بحد ذاته لا يبيّن أي البوادئ يصعب على المدقِّق الحالي تصنيفها فعلًا. فحجم البيانات يزداد، لكن المعلومات المفيدة فيها لا تزداد بالضرورة.

كيف يعمل Dream وDiscern

يقسّم Dream2Discern التدريب إلى مرحلتين، وتعتمد كلتاهما على دالة خسارة التنبؤ (prediction loss) الخاصة بالمدقِّق نفسه.

في مرحلة Dream، يختار الأسلوب اضطرابات (perturbations) للمؤثِّرات (operators) التي تكوّن تمثيل البادئة داخل المدقِّق. وتُختار هذه الاضطرابات بحيث ترتفع قيمة loss على البوادئ المسجلة. وينتج عن ذلك «متغيرات كامنة صعبة»: هي المسارات نفسها، لكنها مزاحة نحو الحدّ الذي يبدأ عنده المدقِّق بارتكاب الأخطاء.

وفي مرحلة Discern، يتعلم المدقِّق التنبؤ بالنتيجة اعتمادًا على هذه المتغيرات، مستخدمًا التسميات الأصلية. فإذا انتهت البادئة بفشل، يبقى متغيرها الصعب مثالًا على الفشل أيضًا. ولا حاجة إلى مُتحقِّق (verifier) لذلك.

وتُعاد عملية توليد المتغيرات أثناء التدريب. فالمدقِّق يقوى، وتفقد الاضطرابات السابقة حدّتها، فيعثر Dream على نقاط ضعف جديدة. وهكذا تتحول المجموعة المحدودة إلى مصدر متجدد للأمثلة الصعبة. ويؤكد المؤلفون أن المسارات الجديدة والتحقق الإضافي من النتائج غير مطلوبَين.

ماذا أظهرت المعايير

جرى التقييم على AFTraj-2K وStepShield. وتستخلص من الملخص الحقائق التالية:

• أكثر من 90% في trajectory-level weighted accuracy على المعيارين كليهما؛
• نتيجة أفضل من نتائج المدقِّقين المنافسين لحالات الفشل؛
• يراعي الأسلوب في آن واحد دقة التنبؤ وتوقيته؛
• لا حاجة إلى جمع مسارات إضافية ولا إلى التحقق من النتائج؛
• يجري التدريب على البوادئ: يقيّم المدقِّق التشغيل قبل اكتماله.

والنقطتان الأخيرتان مهمتان. فالمدقِّق الذي يشخّص الحالة بدقة تامة بعد النهاية عديم الفائدة: فالمال المنفق على الرموز (tokens) قد صُرف بالفعل، وإجراء الوكيل قد نُفّذ. أما القيمة فتأتي من إشارة مبكرة بدقة كافية. ولذلك يبرز المؤلفون التوازن بين الدقة والتوقيت بصورة مستقلة. ولم تُذكر في الملخص أرقام محددة للتأخير ولا تفصيل النتائج حسب كل معيار، ويجب الرجوع إلى النص الكامل للورقة وإلى صفحة المشروع للاطلاع عليها.

ماذا يعني ذلك عمليًا

يهمّ هذا النهج الفرق التي تشغّل خطوط الوكلاء (agentic pipelines) في بيئة الإنتاج لسببين. أولًا، فهو يخفض عتبة الدخول. فإذا كان لديكم سجل تشغيلات بنتائج معروفة، يمكن استخلاص قيمة منه أكثر مما يتيحه التدريب المعتاد للمصنِّف. وثانيًا، لا يتطلب ترميزًا يدويًا مكلفًا لمواد جديدة.

قبل التطبيق، يجدر التحقق من ثلاثة أمور:

• مدى تشابه مساراتكم مع المسارات الواردة في AFTraj-2K وStepShield؛
• كيف يتصرف المدقِّق على البوادئ المبكرة، وليس على الطويلة فقط؛
• كم تبلغ كلفة الإنذار الكاذب: فإيقاف تشغيل سليم قد يكلّف أكثر من فشل لم يُرصد.

حتى الآن، هذا عمل بحثي له صفحة مشروع عامة، وليس منتجًا جاهزًا. لكن الاتجاه واضح. فموثوقية الأنظمة الوكيلة تعتمد أكثر فأكثر على البيانات المتعلقة بأخطائها، لا على حجم النموذج الأساسي. ويُظهر Dream2Discern أن جزءًا من هذه البيانات يمكن الحصول عليه من السجلات المتراكمة أصلًا.