مراجع مستقل يرفع دقة وكلاء البرمجة بمقدار 5.9–9.5 نقطة مئوية

اختبر فريق من الباحثين، بينهم Zhengxin Zhang وErkang Zhu وYin Lin وClaire Cardie وBolin Ding وJingren Zhou، أفضل طريقة لتنظيم التحقق داخل هياكل تشغيل الوكلاء (agent harnesses). قارن الفريق 17 آلية على سبعة من نماذج البرمجة الرائدة وعلى معيارين: Terminal-Bench (TB) وSWE-bench Verified (SWE). وتفوقت المراجعة المستقلة التي يجريها مراجع منفصل. فقد رفعت الدقة بمقدار 5.9–9.5 نقطة مئوية على TB وبمقدار 3.9–6.6 نقطة مئوية على SWE، وبلغت تكلفتها 1.13–1.25x و1.00–1.04x من التشغيل الأساسي على التوالي.

أربع طبقات يمكن فيها ضبط الوكيل متلبسًا بالخطأ

يزوّد هيكل التشغيل النموذج اللغوي بالأدوات، ويعرض عليه نتائج عملها، ويتيح له التقدم نحو الهدف بالتدريج. والسؤال هو: في أي موضع من هذه الحلقة ينبغي إدراج التحقق؟ قسّم المؤلفون دورة حياة الوكيل إلى أربع طبقات:

• التعليمات الأولية. يُطلب من النموذج التحقق من عمله منذ الموجّه (prompt) الابتدائي.
• التذكيرات أثناء التنفيذ. تُرسل إلى الوكيل في أثناء العمل عبارات تذكّره بضرورة المراجعة.
• بوابات الإكمال (completion gates). لا يستطيع الوكيل إعلان اكتمال المهمة قبل أن يجتاز بوابة التحقق.
• المراجعة المستقلة. يفحص مراجع منفصل النتيجة، ثم يُدخل الوكيل التعديلات.

كانت الطبقتان الأوليان الأرخص والأقل أثرًا. فمتوسط التحسن على معايير البرمجة صغير ويتفاوت كثيرًا من نموذج إلى آخر، لكن عدد رموز الإخراج (tokens) لا يزداد بشكل ملحوظ. أما بوابات الإكمال فتحقق مكسبًا أكبر، لكنها قد ترفع التكلفة كثيرًا، إذ يصطدم الوكيل بالبوابة ويستهلك الرموز في محاولات متكررة.

لماذا يتفوق المراجع من حيث التكلفة؟

وقعت المراجعة المستقلة عند نقطة مواتية على منحنى «الدقة مقابل التكلفة». فالزيادة في التكلفة على SWE تتراوح بين 0 و4%، وعلى TB بين 13 و25%. وبالنسبة إلى الفرق التي تدفع ثمن رموز آلاف عمليات تشغيل الوكلاء يوميًا، فإن هذا التفاوت بين الطبقات يظهر بوضوح في الفواتير.

ويتحقق التوسع هنا على محورين. فالجولات الإضافية من المراجعة، أو وجود عدة مراجعين مستقلين، تضيف على TB ما يصل إلى 3.5 نقطة مئوية فوق الفحص الفردي. وبذلك يأتي test-time scaling لا من سلاسل استدلال طويلة يجريها نموذج واحد، بل من فصل الأدوار: المنفّذ يكتب، والمراجع يقرأ دون أن يحمل افتراضات كاتب العمل.

كما أضاف المؤلفون معيار VisualBench، وهو مجموعة للتقييم الخبير للمخرجات البصرية والتفاعلية، أي الواجهات والصفحات التي لا تلتقط الاختبارات الآلية إلا جزءًا يسيرًا من أخطائها. وأظهرت جميع مخططات المراجعة المستقلة الأربعة أفضلية صافية موجبة على الأساس، تراوحت بين 13.2 و23.8 نقطة. وتفوق كل منها أيضًا على مخططات الطبقات L0–L2 التي جرى تقييمها.

الأرقام الرئيسية

• عدد آليات التحقق في المقارنة: 17
• عدد النماذج: 7 (نماذج برمجة من فئة frontier)
• المعايير: Terminal-Bench وSWE-bench Verified وVisualBench (تقييم خبير)
• المراجعة المستقلة على TB: +5.9–9.5 نقطة مئوية بتكلفة 1.13–1.25x
• المراجعة المستقلة على SWE: +3.9–6.6 نقطة مئوية بتكلفة 1.00–1.04x
• VisualBench: تفضيل صافٍ بمقدار 13.2–23.8 نقطة لصالح المراجعة
• جولات أو مراجعون إضافيون: ما يصل إلى +3.5 نقطة مئوية على TB فوق المراجعة الفردية

ما الذي يمكن نقله إلى هيكل التشغيل الخاص بك؟

إذا كنت تبني وكيل برمجة، فيستحسن الإبقاء على التلميحات الرخيصة مثل «تحقق من عملك» في الموجّه الابتدائي، لكن لا ينبغي توقع أثر مستقر منها. فأثرها يتوقف على النموذج المحدد، ولذلك لا بد من إجراء تشغيل تجريبي خاص بك. أما بوابات الإكمال فمن المنطقي تفعيلها حيث تفوق كلفة الخطأ كلفة الرموز، وحيث تكون مستعدًا لمراقبة الميزانية.

والخلاصة العملية الرئيسية أن تمريرة منفصلة يجريها مراجع بعد انتهاء العمل، تعقبها تعديلات، تحقق أبرز مكسب لكل وحدة تكلفة. والأفضل أن تبدأ بمراجع واحد وجولة واحدة. وأضف جولة ثانية أو مراجعًا ثانيًا حين تتوقف المراجعة الفردية عن اكتشاف الأخطاء في مهمتك. وفي المهام البصرية والتفاعلية، حيث تضعف الاختبارات الآلية، تكون المراجعة المستقلة مبررة بدرجة أكبر.

نُشر البحث على Hugging Face Daily Papers تحت رقم arXiv 2610.34577.