Interlock تُعلّم الوكلاء إنجاز المهام حتى النهاية: حتى +6.64 نقطة على JobBench

يقترح فريق مؤلفي Interlock طريقة لتوليد مهام طويلة لوكلاء LLM، لا يكفي فيها تقديم إجابة صحيحة في كل خطوة، بل يجب إنجاز سلسلة الاعتماديات كاملة حتى نهايتها. وسجّل نموذجان من عائلة Qwen3.6، جرى ضبطهما بدقة على مساراتهما المنتقاة الخاصة، زيادة على ثلاثة معايير قياس خارجية: +4.00–4.50 نقطة مئوية في نسبة المهام المحلولة على AutomationBench، و+3.20–6.64 نقطة في التقييم الموزون على JobBench، و+3.89–4.16 نقطة مئوية في معايير Harvey LAB.

المشكلة: صحيح محليًا لكنه غير منجَز

يعمل الوكلاء بشكل متزايد في بيئات تتوزع فيها الأدلة بين ملفات وأنظمة عدة، وتكون حالة المهمة منفَّذة جزئيًا، وتعتمد فيها الموارد والمخرجات بعضها على بعض. والعطل المعتاد يبدو هكذا: يستوفي الوكيل المتطلبات المنفردة بعناية، لكنه يفقد الروابط بينها. فتأتي النتيجة معقولة في ظاهرها، غير أنها ناقصة. يسمّي المؤلفون ذلك فجوة الإنجاز (completion gap)، ويفسّرونه بأن جاهزية المهمة تتحدد بالعلاقات بين الوقائع المستمدة من البيئة، والقرارات المتخذة، والآثار التي يُفترض أن تترتب على هذه القرارات.

ومن هنا يأتي الاعتراض على بيانات التدريب الحالية. فإذا لم تُرمِّز المهام الاصطناعية هذه الروابط، فلن يتلقى الوكيل إشارة تفيد بأن بين «شبه منجَز» و«منجَز» هوّة واسعة.

كيف يعمل Interlock

تُمثَّل كل مهمة برسم بياني للإنجاز ذي أنواع محدَّدة، يضم ثلاثة أنواع من الروابط. تربط حواف التأريض (grounding) الأدلة العامة بالقرارات. وتفرض الحواف الفائقة للربط (coupling) قيودًا مشتركة على عدة مكوّنات في آن واحد. أما حواف التحقيق (realization) فتمتد من القرار إلى جميع الآثار اللاحقة (downstream) الإلزامية.

يُترجَم الرسم البياني إلى ثلاثة مخرجات: مساحة عمل قابلة لإعادة الضبط، وطلب عام، ومعيار تقييم (rubric). بعد ذلك تأتي مرحلتان لضبط الجودة. تتحقق مراجعة source-coverage من أن المتطلبات الأصلية لم تضِع أثناء التوليد. وتتحقق مراجعة public-input من أن معيار التقييم يستند إلى مواد متاحة فعلًا للمنفِّذ، أي أن الوكيل غير مضطر إلى تخمين ما هو مخفي.

يقيّم وكيل حَكَم كل تشغيل: فيفحص مخرجات التنفيذ ويشغّل سكربتات التحقق. ولا تدخل في مجموعة التدريب إلا المسارات التي استوفت جميع المتطلبات الإلزامية.

• بنية المهمة: رسم بياني ذو أنواع محدَّدة، يضم حواف التأريض والحواف الفائقة للربط وحواف التحقيق
• مخرجات التحويل: workspace قابلة لإعادة الضبط، وطلب عام، ومعيار تقييم
• المرشِّحات: source-coverage review وpublic-input review
• الانتقاء: وكيل حَكَم مع سكربتات تحقق، ولا تُقبل إلا المسارات التي استوفت جميع المتطلبات الإلزامية
• النماذج: قاعدتان من Qwen3.6، مضبوطتان بدقة على مساراتهما المقبولة الخاصة
• الزيادة: AutomationBench +4.00–4.50 نقطة مئوية، وJobBench +3.20–6.64 نقطة، وHarvey LAB +3.89–4.16 نقطة مئوية

ماذا تُظهر الأرقام

المخطط في جوهره تقطير ذاتي مع انتقاء صارم: يحل النموذج مهامَّ اصطناعية، ويُبقي الحَكَم على التشغيلات الخالية من العيوب، ثم يُجرى الضبط الدقيق عليها. والمهم ليس الآلية، بل الجهة التي ينتقل إليها الأثر. فمعايير AutomationBench وJobBench وHarvey LAB لم تدخل في توليد المهام، أي أن المكسب تحقق في بيئات خارجية، لا على التوزيع الخاص بالمؤلفين.

وللنتيجة حدود. فالزيادات متواضعة، والنطاقات واسعة (في JobBench من 3.20 إلى 6.64)، وعدد النماذج الأساسية اثنان فقط. ولا يتضح من الوصف كم تكلّف عملية توليد مهمة واحدة والتحقق منها، ولا مدى أخطاء الحَكَم القائم على LLM، ولا كيف تتوسع الطريقة مع عدد أكبر من المسارات. وهذه الأسئلة ينبغي البحث عن إجاباتها في النص الكامل للبحث.

ما الذي يمكن تطبيقه

حتى دون تكرار خط المعالجة (pipeline) بأكمله، يمكن تطبيق الأفكار مباشرة. صِف مهام الوكلاء على شكل رسم بياني للاعتماديات، تُدرَج فيه لكل قرار الآثار اللاحقة الإلزامية، وتحقّق من الآثار نفسها لا من نص الإجابة النهائية. ومرِّر معيار التقييم عبر فحص «هل يمكن استنتاجه من المواد العامة»: بهذا تُستبعد المهام التي يخفق فيها الوكيل بسبب شروط مخفية. واجعل البيئات قابلة لإعادة الضبط كي تكون المسارات قابلة لإعادة الإنتاج. وأخيرًا، اشترط عند انتقاء بيانات الضبط الدقيق استيفاء جميع البنود الإلزامية، لا الاكتفاء بمتوسط تقييم مرتفع، وإلا واصل النموذج التعلّم من نتائج «صحيحة محليًا» لكنها ناقصة.