Cohere تكتشف كيف تحصل فرق وكلاء البرمجة على 61.8% من المكافأة بـ$155 بدلًا من $510

قاست Cohere كلفة العمل الجماعي لوكلاء البرمجة، ووجدت طريقة لخفض الفاتورة بشكل ملحوظ. على اختبار ProgramBench يتفوق الفريق المنظّم جيدًا على الوكيل المنفرد بنحو 10 نقاط مئوية، لكنه ينفق أكثر بما يتراوح بين 3 و7 أضعاف. فالفريق المكوَّن من القائد القوي Sol و16 منفّذًا منخفضي التكلفة من Luna في مرحلة التخطيط يحقق 61.8% من المكافأة. أما الفريق المكوَّن بالكامل من Sol، حيث تُفوَّض كل مرحلة، فيحصل على 63.2%. الأول يكلّف $155، والثاني $510.

فرق الوكلاء تبني البرمجيات فعلًا، لكن لا أحد يحسن حساب التكاليف

خلال العام الماضي انتقلت فرق الوكلاء من العروض التجريبية إلى المشاريع الكبيرة. فقد كتب ستة عشر وكيلًا من Claude مترجمًا للغة C من 100 ألف سطر، قادرًا على بناء نواة Linux. استغرق ذلك نحو 2000 جلسة و$20 000 من استخدام API. وكتب وكلاء Cursor متصفحًا من الصفر بحجم يتجاوز مليون سطر في نحو أسبوع. ونُقل Bun من Zig إلى Rust خلال 11 يومًا، وعمل في ذروة المشروع 64 وكيلًا من Claude بالتوازي.

تختلف هذه المشاريع في عدة معايير في آن واحد. ففي المترجم عمل الوكلاء كأنداد وتناولوا المهام عبر ملفات القفل (lock files). وفي Cursor كان هناك تسلسل هرمي يقسّم فيه المخطِّطون العمل تكراريًا إلى مهام فرعية. أما في Bun فكانت الأدوار ثابتة: منفّذ واحد ومراجعان خصميان ووكيل مصحِّح لكل جزء من العمل. ولا يمكن من أمثلة كهذه معرفة أي قرار أعطى أي نتيجة. وتُظهر دراسة Factory حجم الكلفة: عند إعادة بناء مكتبة GDAL رفع فريق من ثلاثة أدوار المكافأة بأكثر من الضعف مقارنة بالوكيل المنفرد، لكنه كلّف أكثر بـ14 ضعفًا واستغرق وقتًا أطول بـ13 ضعفًا.

بيئة اختبار تغيّر متغيرًا واحدًا في كل مرة

بنى المؤلفون، كينين ساموي ودانييل ديسوزا ونوها دزيري، إطار تشغيل بسيطًا عن قصد، مستوحى من mini-SWE-agent. يعمل جميع الوكلاء عبر أداة bash بسيطة في مساحة عمل مشتركة. يتلقى القائد المهمة ويوزّع العمل بأداة delegate_agent. ولا يرى المنفّذ سوى مهمته الفرعية، ويرفع تقريرًا عند الانتهاء. ويقرر القائد بنفسه عدد المنفّذين الذين سيُشغّلهم، وما يكلّفهم به، وكيف يجمع النتيجة. ويمكن استئناف عمل المنفّذ مع الاحتفاظ بسياقه، كأن يُطلب منه إصلاح أخطاء في شيفرته نفسها، دون إطلاع وكيل جديد على تفاصيل العمل.

يغيّر الباحثون خمسة معايير، منها المرحلة التي يستعين فيها القائد بالمنفّذين. يكتفي الموجّه (prompt) الأدنى بطلب إسناد مهام مستقلة إليهم. أما موجّه PIV فيضيف بنية من التخطيط مع الاستكشاف، ثم التنفيذ، ثم التحقق، ويشترط التفويض في المراحل الثلاث كلها. ويتعلق المعيار الثاني بالانتظار: القائد الحاجب ينتظر تقارير المنفّذين. أما المعايير المتبقية فلم يُكشف عنها في الجزء المتاح من المادة.

ماذا أظهرت القياسات

• يبلغ تفوق الفريق على الوكيل المنفرد في ProgramBench نحو 10 نقاط مئوية، بينما تزيد التكلفة بما يتراوح بين 3 و7 أضعاف.
• تفويض الاستكشاف والتخطيط وحدهما يعطي النتيجة نفسها التي يعطيها تفويض التخطيط والتنفيذ والتحقق معًا، وبنصف التكلفة.
• القائد Sol و16 منفّذًا من Luna في التخطيط: 61.8% من المكافأة مقابل 63.2% لفريق Sol الكامل.
• تنخفض التكلفة من $510 إلى $155، أي بنسبة 70%.

الخلاصة الرئيسية: المكان الذي توجّه إليه الوكلاء أهم من عددهم. فالحوسبة الإضافية تؤتي ثمارها حين يستهدف الوكلاء نقطة اختناق حقيقية في المهمة. وفي ProgramBench تتمثل هذه النقطة في استكشاف البرنامج الأصلي والتخطيط.

كيف تبني الفريق عمليًا

ابدأ بقائد قوي واحد، ولا تضف منفّذين إلا حيث تتعثر المهمة عند الاستكشاف أو التخطيط. وتصلح النماذج منخفضة التكلفة لهذه المراحل. ولا ينبغي تفويض التنفيذ والتحقق تلقائيًا: فالتجربة تُظهر أن النصف الثاني من خط المعالجة قد يضيف نفقات دون أي تحسن يُذكر في الجودة. وقبل التوسّع، قِس التكلفة والمكافأة للوكيل المنفرد وللفريق. فإذا كان الفارق 1.4 نقطة مئوية مقابل زيادة الفاتورة ثلاثة أضعاف، فقد حان وقت إعادة بناء الفريق.