أفضل وكيل ذكاء اصطناعي للبرمجة يحل بالكامل 26% فقط من المهام الواقعية في Co-Design Bench

إذا أطلقتَ وكيل ذكاء اصطناعي في مستودع العمل، فالمشهد مألوف: ينجز كل شيء تقريبًا، ثم تقضي نصف ساعة في اصطياد التفاصيل المتبقية. وقد قاس معيار Co-Design Bench الجديد هذه الظاهرة للمرة الأولى بصورة منهجية، والأرقام مُصحِّحة للتوقعات.

ما الذي جرى اختباره

بنى فريق من علي بابا وعدة جامعات آسيوية اختباراته من جلسات تطوير حقيقية. واختار الباحثون عمدًا الحالات التي اضطر فيها المستخدم إلى إعادة صياغة طلبه أو التراجع عن التغييرات. أي أن الاختبار لا يضم سوى مهام أخطأ فيها الوكلاء بالفعل في الممارسة العملية.

المهام متنوعة: من تعديل صغير إلى إعادة بناء مشروع كامل. مثال نموذجي: استخراج المبلغ من صورة إيصال وتحديث جميع الإجماليات المرتبطة به في التطبيق. وبعض المهام متعددة الوسائط، إذ تكون المدخلات صورًا أو صوتًا أو فيديو أو مستندات.

التقييم صارم. يشغّل حَكَم ذكاء اصطناعي أول التطبيق الجاهز في المتصفح، ويعيد حَكَم ثانٍ التحقق من كل حكم إيجابي ويبحث عن الحلول الوهمية (stubs) والنتائج المكتوبة يدويًا في الشيفرة. ولا تُمنح النقاط إلا على ما يعمل فعلًا.

النتائج

من بين عشرة نماذج، جاء GPT-6 Astra في الصدارة. فهو يلبّي في المتوسط نحو 70% من متطلبات المهمة، لكنه يقدّم نتيجة خالية تمامًا من الأخطاء في 26.4% من الحالات فقط. يليه Claude Opus 5 ثم Qwen3.8-Max، وفي المرتبة الأخيرة Grok 4.6. وفي مسار الوسائط المتعددة يحل المتصدر 41% من المهام بالكامل، بينما يقل ذلك عن 18% في مهام المستودعات.

في المعايير القديمة مثل WebCompass-edit تحقق النماذج ما يقارب الحد الأقصى، أما هنا فتتجاوز الفجوة 35 نقطة مئوية. ويرى المؤلفون أن الاختبارات السابقة ببساطة بلغت حد التشبع: فعندما يشغّل الوكيل الشيفرة ويصلحها بنفسه، تكاد الفروق بين النماذج لا تظهر.

وثمة نمط آخر: كلما زادت أنواع التغييرات المختلفة في مهمة واحدة (التنسيق، التصميم، التفاعل، المحتوى)، ساءت النتيجة. ففي حالة ثلاثة إلى أربعة أنواع تراجعت النماذج العشرة جميعها. والتعديلات في المشاريع الحقيقية تكاد تكون مختلطة دائمًا. وزيادة الحوسبة لا تنقذ الموقف: فـ GLM-5.2 يستهلك نحو ستة أضعاف ما يستهلكه GPT-6 Astra من الرموز (tokens) في التعديلات الصغيرة، ومع ذلك يتخلف عنه بوضوح.

البيئة تحسم بقدر النموذج

في تجربة منفصلة شُغّلت النماذج نفسها في أطر تشغيل مختلفة (harness)، أي البرامج التي يقرأ الوكيل عبرها الشيفرة ويكتبها وينفذها. وحقق Qwen3.8-27B في إعادات البناء الكبيرة 75% في بيئة و56% في أخرى. كما أن ترتيب نموذجين تغيّر بحسب البيئة. لذلك ينصح المؤلفون بذكر الثنائي «النموذج مع إطار التشغيل» دائمًا.

القيود

يختبر المعيار طلبًا ثابتًا واحدًا لكل مهمة، ولا توجد فيه توضيحات أو تصويبات أثناء العمل. كما أن حكّام الذكاء الاصطناعي قد يخطئون أيضًا. إضافة إلى ذلك، أظهرت دراسة METR سابقًا أن نسبة الشيفرة التي يقبلها مشرفو المشاريع أقل بنحو 24 نقطة من النتائج على SWE-bench Verified. وأثر البيئة غير محسوم: فدراسة حديثة أخرى لم تجد تقريبًا أي فائدة من أطر التشغيل الأكثر تعقيدًا، رغم أنها استهلكت ما يصل إلى ثلاثة أضعاف الرموز.

ماذا تفعل عمليًا

أولًا: لا تختر الوكيل بحسب تصنيف النماذج. شغّل على مهامك الحقيقية الثنائي «النموذج مع الأداة» وقارن هذا الثنائي تحديدًا. ثانيًا: خصّص وقتًا للمراجعة والتحسين، خاصة عندما تجمع المهمة بين التنسيق والمنطق والبيانات. قسّم الطلبات الكبيرة إلى خطوات متجانسة، فهذا يقلل خطر النقص. ثالثًا: تحقق من النتيجة في التطبيق العامل لا في الفروقات (diff)، لأن هذا بالضبط ما اعتمده المعيار في التقييم.

الخلاصة بسيطة: الوكلاء يوفرون وقتًا كبيرًا، لكن وعد «سلّمتُ المهمة ونسيتها» يتحقق حاليًا في حالة واحدة تقريبًا من كل أربع.