SWE-Duel: وكلاء البرمجة يكتبون الأخطاء لبعضهم، وGPT-5.5 يصلح 98,3%

تتقادم المعايير الثابتة في مجال البرمجة بسرعة: تتسرب مهامها إلى مجموعات التدريب، وتبلغ الوكلاء القويةُ سقفَها. يقترح مؤلفو الورقة البحثية SWE-Duel (arXiv cs.CL) نهجًا مختلفًا: تقييم لا يعتمد على أي محتوى مُعدّ مسبقًا. يُنشئ وكيلان مهامَ لبعضهما بالتناوب ويتحقق كل منهما من عمل الآخر. شاركت في بطولة من 1500 جولة 11 تركيبة من نوع «نموذج + إطار تشغيل» على 15 مستودعًا بخمس لغات. وجاء GPT-5.5 مع Codex CLI في المركز الأول، إذ يصلح 98,3% من العيوب التي تصله للمراجعة.

كيف تجري جولة المبارزة

في كل جولة يعمل الوكيل Red على مستودع حقيقي ضمن ثلاث جلسات معزولة السياق. يبتكر أولًا ميزة جديدة وينفذها مع اختبارات لها. ثم يزرع فيها خللًا دقيقًا، ويكتب اختبارات مختومة تكشف هذا الخلل. والناتج طلب سحب (pull request).

ولا تدخل المهمة في مجموعة المهام إلا بشرطين. الأول: أن يجتاز طلب السحب اختبارات الميزة والاختبارات القائمة في المستودع، وأن يفشل في اختبارات الخلل تحديدًا. الثاني: أن تتمكن جلسة جديدة للوكيل نفسه من إصلاح الخلل دون أن تعرف بوجوده. ويستبعد الشرط الثاني المهام المستعصية على الحل: فإذا عجز المؤلف نفسه عن إصلاح الخلل الذي زرعه، فلا تُحتسب المهمة.

بعد ذلك يأتي دور Blue. لا يُخبَر بوجود خلل في طلب السحب، بل يجري مراجعة عادية فقط. ولا يُحتسب الفوز إلا إذا اجتاز تعديله مجموعات الاختبار الثلاث كلها. ثم يتبادل الوكيلان الأدوار. وهكذا لا تتحدد الصعوبة عند إصدار المعيار، بل ترتفع مع قوة المشاركين.

من يفوز وكيف

يفوز المتصدرون بطرق مختلفة. ويميّز المؤلفون بوضوح بين ملفين: أقوى حلّال وأقوى مُعِدّ للمهام.

• GPT-5.5 + Codex CLI: المركز الأول، وأفضل حلّال، ويصلح 98,3% من العيوب القابلة للتحقق.
• Claude Opus 4.8 + mini-swe-agent: المركز الثاني، وأفضل مُعِدّ للمهام، بنسبة فوز Red بلغت 27,3%.
• حجم البطولة: 11 مشاركًا، و15 مستودعًا، وخمس لغات، و1500 جولة.
• ضمن العائلة الواحدة من النماذج، تتغلب مهام أحدث إصدار على حلّال مرجعي ثابت في 42,9% من الحالات، مقابل 4,0% لمهام الإصدارات الأقدم.

الرقم الأخير هو الأكثر إثارة للاهتمام على الأرجح. فهو يشير بصورة أولية إلى أن صعوبة المهام ترتفع مع قدرة النموذج على ابتكارها. وبالنسبة إلى معيار يُفترض أن «ينمو من تلقاء نفسه»، فهذه هي الخاصية الأهم. وإذا تأكدت على عدد أكبر من العائلات، فلن يبقى سقف التشبع مشكلة: إذ سيُعدّ المؤلفون الأقوى امتحانات أصعب تلقائيًا.

ومن المهم أيضًا تذكّر أن المشاركين هنا أزواج من «نموذج + إطار تشغيل». فالترتيب يعكس جودة التركيبة بأكملها، لا أوزان النموذج وحدها. ويصف المؤلفون أنفسهم النتيجة المتعلقة بنمو الصعوبة بأنها أولية، وهو تحفظ نزيه: فالبيانات مستمدة من بطولة واحدة.

ما الذي يمكن الاستفادة منه عمليًا

يمكن تطبيق الفكرة دون ساحة تضم 11 مشاركًا. فالفريق الذي يختار وكيل برمجة يفيده أن يختبره على مستودعه الخاص وفق نمط المبارزة: يكتب الوكيل ميزة مع اختباراتها ويخفي فيها خللًا، ثم يحاول وكيل ثانٍ أو جلسة جديدة العثورَ عليه وإصلاحه. وهذا ما لن تُظهره لوحة المتصدرين العامة: فقد تكون مهامك «مدمجة» أصلًا في تدريب النماذج.

والخلاصات العملية كالتالي. افصلوا بين المقاييس: فالقدرة على إصلاح شيفرة الآخرين والقدرة على ابتكار مهام صعبة مهارتان مختلفتان، والمتصدرون فيهما لا يتطابقون. وينبغي اعتماد مرشّح قبول المهام (اجتياز جميع الاختبارات عدا اختبار الخلل، وإمكان الحل دون معرفة مسبقة بالخلل) بوصفه نمطًا مستقلًا لضبط الجودة في أي تقييمات اصطناعية. وعند المقارنة بين المنتجات، انظروا إلى التركيبة المحددة من النموذج وإطار التشغيل، لا إلى اسم النموذج وحده.