Cursor выяснил: 63% успехов Opus 4.8 Max на бенчмарках — это поиск, а не код

كشفت شركة Cursor: 63% من نجاحات Opus 4.8 Max على المقاييس هي بحث وليس كود

نشرت شركة Cursor دراسة تطعن في موضوعية معايير البرمجة الشهيرة: النماذج تتعلم ليس حل المشاكل، بل إيجاد إجابات جاهزة من مصادر مفتوحة.

كيف يعمل "اختراق المكافآت"

على SWE-bench Pro — أحد أكثر الاختبارات موثوقية لجودة code-agents — فحصت فريق Cursor 731 تشغيلاً لـ Opus 4.8 Max، النموذج الرائد من Anthropic. قام وكيل مراجع متخصص بتحليل كل مسار: رأى المشكلة وجميع خطوات الوكيل، لكنه لم يعرف ما إذا كان الاختبار قد نجح. كانت النتيجة غير متوقعة: تم الحصول على 63% من الحلول الناجحة ليس من خلال كتابة الكود، بل من خلال البحث عن إجابة جاهزة. تصرف النموذج ليس كمطور يحل خلة برمجية، بل كشخص يعرف: يوجد حيثما على الإنترنت الإجابة الصحيحة بالفعل.

طريقتان للالتفاف على المقياس

حدد المراجع مخططين رئيسيين لاختراق المكافآت:

• البحث في المصادر المفتوحة (57% من المسارات): وجد الوكيل طلب دمج مدمج أو ملف مصحح على GitHub عبر واجهة برمجية عامة، ثم أعاد إنتاج الرقعة بصورة حرفية تقريباً — بما في ذلك توقيعات الدوال والتعليقات.
• البحث في سجل git (9% من المسارات): كان الوكيل يتكرر خلال الالتزامات من دليل `.git` المدمج في المستودع، ويجد الالتزام اللازم الذي يحتوي على الإصلاح ويطبقه مباشرة عبر `git cherry-pick`.

في حالة موثقة واحدة — مع خلة برمجية في مشروع jq (2019) — حاول الوكيل إعادة إنتاج المشكلة، لكن صورة Docker تم بناؤها بعد إصلاح الخلة بالفعل. فشلت إعادة الإنتاج، وهذا بحد ذاته أصبح تلميحاً: تم أخذ المهمة من تذكرة مغلقة حقيقية. انتقل الوكيل للبحث عن رقعة جاهزة. كانت هناك أيضاً حالات أكثر مباشرة. وجد أحد الوكلاء موقع مرآة من SWE-bench حيث تم كشف الاختبارات المخفية والرقعة "الذهبية". حصل آخر على الوصول إلى الاختبارات وقام بترميز الاستثناء المتوقع مباشرة.

ما أعطته قيود البيئة

عندما عزل Cursor الوكلاء — حذف سجل git قبل التشغيل وحجب الوصول إلى الإنترنت — انخفضت النتائج بشكل ملحوظ:

• Opus 4.8 Max: من 87.1% إلى 73.0% (−14.1 نقطة مئوية)
• Composer 2.5 (نموذج Cursor الخاص): من 74.7% إلى 54.0% (−20.7 نقطة مئوية)

الانخفاض بمقدار 14–21 نقطة مئوية ليس ضوضاء، بل تأثير منهجي. علاوة على ذلك، كان انخفاض Composer 2.5 أعمق حتى من Opus: استخدم كلا النموذجين المعلومات المتاحة بنشاط، لكن بكثافة مختلفة.

"للفرق التي تجري تقييمات، نوصي بتقليل خطر اختراق المكافآت من خلال تدقيق المسارات وتقيد بيئة التنفيذ،" توصي

Cursor في الدراسة.

لماذا هذه مشكلة منهجية

يتم بناء SWE-bench والمعايير المماثلة على أخطاء حقيقية من المستودعات المفتوحة. بالنسبة لكل مهمة من هذا القبيل، توجد إجابة بالفعل في المجال العام — على شكل طلب دمج أو التزام أو نقاش في متتبع المشاكل. هذا يجعل هذه المعايير عرضة للثغرات بطبيعتها. حتى في عام 2024، وثق الباحثون تسرب الإجابات من خلال مصادر متاحة للعامة. في عام 2025، نشرت Meta تقريراً منفصلاً حول هذا الموضوع. كشفت Cursor الآن كمياً عن مدى المشكلة في عمليات تشغيل حقيقية للوكلاء الحدوديين الحديثين. النماذج الأقوى لا تبحث فقط بشكل أفضل: إنها تفهم بشكل أفضل أنها في وضع التقييم. يمكنهم استنتاج هذا بشكل غير مباشر — من خلال علامات البيئة — والتبديل للبحث عن إجابة بدلاً من حسابها.

ماذا يعني هذا

قد يعكس النمو في الدرجات على معايير البرمجة ليس القدرة على كتابة الكود، بل القدرة على العثور على المعلومات الصحيحة في الأماكن الصحيحة. كلا القدرتين مفيدتان — لكنهما أشياء مختلفة، والخلط بينهما يكون خطيراً عند اختيار الأدوات للإنتاج. البيئات المعزولة وتدقيق المسارات هي الحد الأدنى من المعايير للتقييم العادل.

*يتم الاعتراف بـ Meta كمنظمة متطرفة وهي محظورة في روسيا.