Surge: حقق Opus عند xhigh زيادة قدرها 11.3 نقطة، بينما لم تضف أغلفة مثل Superpowers أكثر من 3 نقاط

خلال الأشهر الأخيرة، امتلأت الخلاصات بأغلفة مخصصة لوكلاء البرمجة: مهارات وإضافات ومنظومات تضم عشرات الوكلاء الفرعيين. يبدو ذلك قويًا، لكن هل يساعد فعلًا؟ اختبر فريق Surge الأمر على معيار أداء، وتوصل إلى نتيجة قد لا تعجب كثيرين: كانت الترقية الأكثر فاعلية هي الأكثر بساطة ومللًا أيضًا.

كيف أُجري الاختبار

استخدم الباحثون Opus 5.5 داخل Claude Code، وأسندوا إليه 100 مهمة هندسية حقيقية من معيار sudo L7. ولا يختبر هذا المعيار مجرد «اجتياز الاختبارات»، بل يقيس أيضًا الحكم الهندسي المتوقع من مهندس بمستوى staff: هل عثر الوكيل على السبب الجذري؟ هل اختبر السيناريوهات المجاورة؟ وهل تجنب كسر شيء آخر قريب؟

شملت المقارنة Claude Code من دون إضافات، وSuperpowers الذي يملك أكثر من 311K نجمة على GitHub، وCompound Engineering الذي يملك أكثر من 25K نجمة، إضافة إلى الملحقين المدمجين /goal و/code-review. وكان خط الأساس هو Opus وحده عند مستوى medium.

النتائج

• Superpowers: زيادة 2.4 نقطة بتكلفة تبلغ نحو 1.1 من تكلفة خط الأساس.
• /goal + /code-review: زيادة 3.3 نقطة بتكلفة أعلى بـ 1.8 مرة.
• Compound Engineering: تكلفة أعلى بنحو 8 مرات، مع تحسن غير ملحوظ إحصائيًا.
• Opus عند xhigh من دون أي إضافات: زيادة 11.3 نقطة بتكلفة أعلى بـ 3.5 مرات.

حقق xhigh أكبر تحسن في التحقق والدقة (+14.9)، وكذلك في المثابرة (+9.8). أي إن النموذج لم يصبح «أذكى»، بل توقف ببساطة عن الاكتفاء بأول إصلاح يبدو معقولًا.

مثال من التقرير

يتعطل محرر فيديو عند عدم وجود المقطع الأول. عند medium، يصلح الوكيل الموضع الواضح، ويعلن النجاح، ويحصل على 14 من 100 مقابل 0.12 دولار. أما عند xhigh، فيلاحظ أن الإصلاح يحوّل التنفيذ إلى مسار fallback يفترض هو الآخر وجود المقطع، ثم يعثر على خطأ ثانٍ ويحصل على 100 من 100 مقابل 0.41 دولار. فارق السعر ضئيل، لكن فارق الجودة هائل.

وتتضح الصورة أكثر في مهمة «إضافة رابط Zoom ورمز مرور إلى رسالة التأكيد». فعّلت إحدى الحلول، من دون أن يحدد المؤلفون أيها، 37 مهارة إضافية وشغّلت 17 وكيلًا: خمسة لمراجعة الخطة، وخمسة لتبسيطها، وسبعة لمراجعة الشفرة. ولم يلاحظ أي منهم النقطة الأهم: تُرسل الرسالة قبل الدفع، ما يعني أن من لم يدفعوا سيحصلون أيضًا على رمز المرور. كثرة الوكلاء لا تعني مزيدًا من الانتباه؛ فهم ينظرون إلى المهمة نفسها بالطريقة ذاتها.

ما الذي ينبغي فعله عمليًا؟

1. قبل تثبيت إطار عمل جديد، ارفع مستوى effort. فهذا إعداد واحد، وليس تبعية جديدة.
2. احسب التكلفة لكل مهمة محلولة، لا لكل عملية تشغيل. فكثيرًا ما يكون xhigh الأعلى سعرًا أرخص من عدة جولات تتطلب تصحيحات.
3. إذا كنت تستخدم المهارات، فقِس مساهمتها في مهامك أنت. عدد النجوم على GitHub ليس مؤشرًا للجودة.
4. في المواضع الحساسة، مثل المدفوعات والتحكم في الوصول، لا تعتمد على مراجعات الوكلاء. ينبغي أن يتحقق إنسان من منطق الأعمال.

القيود

هذا معيار أداء واحد، ونموذج واحد، وبيئة تشغيل واحدة. وقد اختار المورّد المهام، كما قد تكون الفروق بين الإعدادات في العينات الصغيرة مجرد ضوضاء. وربما تحقق المنظومات متعددة الوكلاء نتائج أفضل مع نماذج أخرى أو في المشروعات الطويلة متعددة الخطوات. إضافة إلى ذلك، تبلغ تكلفة xhigh نحو 3.5 مرات، وقد يكون ذلك زائدًا عن الحاجة في التعديلات الروتينية.

لكن الاتجاه واضح: ابدأ بأبسط رافعة. إذا كان النموذج يخطئ بسبب التسرع، فلن تحل الوكلاء الإضافية المشكلة؛ بل ستمنحك فاتورة أكبر وشعورًا بالسيطرة.