Sonnet 4.6 مع خادم MCP من Sourcegraph يتفوق على Fable 5: 0,698 مقابل 0,568

حقق Claude Sonnet 4.6 مع خادم MCP من Sourcegraph نتيجة 0,698 في تسع مهام من CodeScaleBench، وتفوّق على Claude Fable 5 الذي حصل على 0,568. عمل Sonnet دون شيفرة مصدرية على القرص، ولم يصل إلى قاعدة الشيفرة إلا عبر أدوات البحث. أما Fable 5 فكانت لديه نسخة محلية كاملة (checkout) من المستودع، ولم يستخدم أي retrieval. فاز النموذج الأرخص في ست مهام من تسع، وكلّفته كل نقطة جودة أقل بنحو النصف.

يُعدّ CodeScaleBench معيار Sourcegraph نفسها لوكلاء البرمجة في قواعد الشيفرة الكبيرة متعددة المستودعات. واختيرت للمقارنة تسع مهام يتمثل جوهر العمل فيها في العثور على الشيفرة المطلوبة. وFable 5 هو أول نموذج متاح للعموم في خط Anthropic من فئة Mythos، وهي مستوى أعلى من Opus. وعند إطلاقه سجّل state-of-the-art في معظم المعايير العامة، بما فيها تقييمات البرمجة من Cursor وCognition.

البحث مقابل القراءة من القرص

شروط الإعدادين متعاكسة.

• Sonnet 4.6 + Sourcegraph MCP server. لا توجد شيفرة مصدرية على القرص. يبحث الوكيل في الشيفرة، ويحلّ الرموز (symbols)، ويتنقل عبر الروابط بين المستودعات.
• Fable 5 مع نسخة محلية (checkout). المستودع كاملاً بجانب النموذج، فيقرأ الملفات مباشرة، ولا توجد أدوات retrieval.

الأرقام النهائية:

• Sonnet 4.6 مع Sourcegraph: متوسط النتيجة 0,698، وفوز في 6 مهام من 9.
• Fable 5 مع شيفرة محلية: متوسط النتيجة 0,568.
• تكلفة نقطة الجودة الواحدة لدى Fable أعلى بنحو الضعف تقريباً. أما Sonnet فتبلغ تكلفته نحو النصف.

تفوّق النموذج الرخيص المزوّد بالأداة في الجودة والتكلفة معاً. وبالنسبة إلى الفرق التي تحتسب نفقات الوكلاء، فإن المؤشر الثاني لا يقل أهمية عن الأول.

أين تحديداً تظهر الفجوة

لا تتوزع أفضلية Sonnet على المهام بالتساوي. فالإسهام الأكبر يأتي من المهام التي يلزم فيها معرفة كيف يُستخدم رمز ما فعلاً في عدة مستودعات. وتتصدر هذه المهام عمليات تتبّع الثغرات الأمنية وتتبّع التبعيات بين المؤسسات. وهنا تحديداً تقدّم القراءة المباشرة من نسخة محلية فائدة ضئيلة: فقد لا تحتوي النسخة على الشيفرة المطلوبة أصلاً، أو تكون بعيدة جداً.

أما في المهام البسيطة فلا فرق يُذكر تقريباً. فتتبّع الإعدادات (config) والترحيل (migration) الدقيق ينجزهما الإعدادان بمستوى عالٍ، ونتائجهما متقاربة. وحيثما بلغ السقف الأعلى، لا يوجد ما يمكن الفوز به.

وهناك مثال معاكس أيضاً. ففي إحدى المهام ذات التبعيات العابرة للمؤسسات، تقدّم النموذج الرائد (frontier) ذو النسخة المحلية الكاملة. وهذه التفصيلة تصبّ في صالح المنهجية: فالاختبار لم يُفصَّل على قياس فائز معروف مسبقاً.

نشرت Sourcegraph أداة results explorer، تعرض لأي مهمة نتائج تشغيل الإعدادين جنباً إلى جنب: الـ prompt الكامل، والحوار، وكل استدعاء للأداة. ويمكن أن نرى فيها أين يعثر أحد الوكيلين على الملف المطلوب بينما لا يصل إليه الآخر.

تحفظات لا ينبغي إغفالها

أولاً، هذه تسع مهام فقط وليست CodeScaleBench بأكمله. فقد قُيّد الوصول إلى Fable 5 بعد أيام قليلة من الإطلاق، ولذلك لم تدخل المقارنة إلا المهام التي توفرت لها تشغيلات صالحة لـ Fable أُنجزت قبل ذلك الموعد. ويصف كاتب المادة نفسه النتيجة بأنها إشارة مبكرة وليست معياراً راسخاً.

ثانياً، المعيار ملك لشركة تبيع الأداة الفائزة. وهذا لا يلغي انفتاح نتائج التشغيل، لكن إعادة إنتاج النتائج بصورة مستقلة على مهام أخرى لن تكون زائدة.

ثالثاً، يقيس الاختبار التنقل في الشيفرة. أما المهام التي تتطلب استدلالاً عميقاً داخل ملف واحد فقد بقيت خارج نطاقه. وتصفها Sourcegraph بأنها الاتجاه التالي للقياس، وفي هذه المهام تحديداً قد تزول أفضلية retrieval.

ما الذي ينبغي فحصه عند بناء وكيل بميزانية محدودة

الخلاصة العملية للفرق التي تبني وكلاء على قواعد شيفرة حقيقية هي أنه ينبغي تقييم جودة البحث في الشيفرة قبل ترقية النموذج. ففي المهام العابرة للمستودعات، مثل البحث عن الثغرات وتحليل التبعيات وتقدير أثر التغييرات، قد تتفوق تركيبة من نموذج أرخص مع retrieval جيد على نموذج غالٍ يفتقر إليه.

يُستحسن أن تأخذ الفرق 10–20 مهمة نموذجية خاصة بها وتقسمها إلى فئتين: «العثور على أماكن الاستخدام» و«فهم جزء معقد واحد». تُشغَّل الفئة الأولى على تركيبة «نموذج متوسط + بحث MCP»، والثانية على النموذج الرائد مع شيفرة محلية. ويجب مقارنة التكلفة لكل وحدة جودة، وليس النتيجة النهائية وحدها. وبهذا المقياس تحديداً تفوّق Sonnet 4.6 مع Sourcegraph على Fable 5.